WO2014103304A1 - 制御方法 - Google Patents

制御方法 Download PDF

Info

Publication number
WO2014103304A1
WO2014103304A1 PCT/JP2013/007587 JP2013007587W WO2014103304A1 WO 2014103304 A1 WO2014103304 A1 WO 2014103304A1 JP 2013007587 W JP2013007587 W JP 2013007587W WO 2014103304 A1 WO2014103304 A1 WO 2014103304A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
information terminal
target device
operator
menu
Prior art date
Application number
PCT/JP2013/007587
Other languages
English (en)
French (fr)
Inventor
吉田 力
一成 山田
健二 清水
高橋 正樹
由理 西川
小塚 雅之
中野 稔久
関部 勉
大森 基司
宏之 竹村
山口 淳
保坂 健
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014516525A priority Critical patent/JP6301829B2/ja
Priority to US14/381,416 priority patent/US9621433B2/en
Priority to CN201380010812.8A priority patent/CN104170399B/zh
Publication of WO2014103304A1 publication Critical patent/WO2014103304A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/50Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/91Remote control based on location and proximity

Definitions

  • the present invention relates to a control method in a remote control system.
  • Patent Document 1 discloses a technology related to an integrated controller that can comfortably control devices including home appliances.
  • Patent Document 1 has a problem that the home appliance can be controlled from outside the house even when the home appliance handles fire.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a control method capable of appropriately controlling a control target device according to a situation using an information terminal.
  • a control method includes a plurality of devices and an information terminal that controls a control target device that is at least one of the plurality of devices via a network.
  • a control method in a remote control system comprising: a candidate for a control target device to be controlled among the plurality of devices or an action type indicating a user's desired behavior in the user interface area in the display unit of the information terminal A step of displaying candidates for action types associated with operations on the control target device, and determining a display mode of a user interface area on a display unit of the information terminal via the network
  • a step of acquiring a plurality of control indicators, a selected action type or control target device, and the plurality of acquired A step of displaying one or more control menus in a user interface area in the display unit of the information terminal in a display mode determined based on the control index, and the 1 displayed in the user interface area in the display unit of the information terminal
  • FIG. 1 is a diagram illustrating an example of the overall configuration of the remote control system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a configuration of the information terminal according to Embodiment 1.
  • FIG. 3 is a diagram illustrating an example of a configuration of the server according to the first embodiment.
  • FIG. 4 is a flowchart showing a control method of the remote control system according to the first embodiment.
  • FIG. 5 is a timing chart showing an example of processing of the remote control system in the example of the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a GUI of a display screen of a smartphone in the example of the first embodiment.
  • FIG. 7 is a table showing the contents of information transmitted to the server by the remote control application in the example of the first embodiment.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of the remote control system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a configuration of the information terminal according to Em
  • FIG. 8 is a diagram illustrating an example of a user information table registered in the DB of the server in the example of the first embodiment.
  • FIG. 9 is a diagram showing an example of a device information table registered in the server DB in the example of the first embodiment.
  • FIG. 10A is a diagram illustrating an example of a smart phone display screen in an example of the first embodiment.
  • FIG. 10B is a diagram illustrating an example of a smart phone display screen in an example of the first exemplary embodiment.
  • FIG. 11 is a block diagram illustrating an example of a configuration of the information terminal according to Embodiment 2.
  • FIG. 12 is a flowchart showing the detailed process of S2 of the remote control system in the second embodiment.
  • FIG. 13 is a flowchart illustrating an example of processing of the remote control system in the example of the second embodiment.
  • FIG. 14 is a diagram illustrating an example of an action list table in the example of the second embodiment.
  • FIG. 15 is a diagram illustrating a warning condition that is a condition for issuing a warning to an operator (user) of the information terminal in the example of the second embodiment.
  • FIG. 16A is a diagram illustrating an example of a display screen with a warning display in the example of the second embodiment.
  • FIG. 16B is a diagram showing an example of a display screen with a warning display in the example of the second exemplary embodiment.
  • FIG. 17 is a diagram illustrating an example of a display screen with a warning display in the example of the second embodiment.
  • FIG. 18 is a diagram illustrating an example of a display screen with a warning display in Example 2 of the embodiment.
  • FIG. 19 is a diagram showing an example of a display screen with a warning display in the example of the second embodiment.
  • FIG. 20A is a diagram showing an example of a display screen with a warning display in the example of the second embodiment.
  • FIG. 20B is a diagram showing an example of a display screen with a warning display in the example of the second exemplary embodiment.
  • FIG. 21 is a block diagram illustrating an example of a configuration of the information terminal according to Embodiment 3.
  • FIG. 22 is a diagram illustrating an example of a prior dialog table according to the third embodiment.
  • FIG. 23 is a flowchart showing dialog processing of the remote control system in the third embodiment.
  • FIG. 23 is a flowchart showing dialog processing of the remote control system in the third embodiment.
  • FIG. 24A is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 24B is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 25A is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 25B is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 25C is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 26A is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 26B is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 27A is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 27B is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 28A is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 28B is a diagram illustrating an example of a dialog displayed on the display surface of the information terminal according to Embodiment 3.
  • FIG. 29 is a diagram illustrating an overall configuration of a remote control system according to the fourth embodiment.
  • FIG. 29 is a diagram illustrating an overall configuration of a remote control system according to the fourth embodiment.
  • FIG. 30 is a block diagram illustrating an example of a configuration of the information terminal in Embodiment 4.
  • FIG. 31 is a block diagram illustrating an example of a configuration of a server in the fourth embodiment.
  • FIG. 32 is a timing chart showing an example of processing of the remote control system in the example of the fourth embodiment.
  • FIG. 33A is a diagram illustrating an example of information transmitted in the SD 102 in the fourth embodiment.
  • FIG. 33B is a diagram showing an example of a user information table registered in the server in the example of the fourth embodiment.
  • FIG. 34A is a diagram showing an example of a home device table registered in the server in the example of the fourth embodiment.
  • FIG. 34B is a diagram showing an example of a sensor information table registered in the server in the example of the fourth embodiment.
  • FIG. 35 is a diagram showing an example of operable list information returned from the server to the smartphone in SD 106 in the example of the fourth embodiment.
  • FIG. 36 is a diagram illustrating an example of a display screen of a smartphone in the example of the fourth embodiment.
  • FIG. 37A is a diagram illustrating an example of a smartphone display screen in the example of the fourth embodiment.
  • FIG. 37B is a diagram illustrating an example of a smartphone display screen in the example of the fourth embodiment.
  • FIG. 37C is a diagram illustrating an example of a smartphone display screen in the example of the fourth embodiment.
  • FIG. 38 is an example of a television screen on which a confirmation message is displayed in the example of the fourth embodiment.
  • FIG. 39A is an example of a display screen of a smart phone on which the confirmation result in the example of the fourth embodiment is displayed.
  • FIG. 39B is an example of a display screen of a smart phone on which the confirmation result in the example of the fourth embodiment is displayed.
  • FIG. 40 is an example of a device database stored in the server in order to determine whether or not confirmation processing is possible in the fourth embodiment.
  • Patent Document 1 Korean that became the basis of the invention
  • Patent Document 1 there is a problem that, for example, even when a home appliance handles fire, the home appliance can be controlled from outside the house.
  • a control target device which is a home appliance to be controlled among a plurality of home appliances is “operator (control)”, “operation (control)”. ) “Time to perform”, “Location to operate (control)”, “Device to be controlled (what)”, “Location to which the device to be controlled is located (to where)”, etc. Items that can be controlled even with possible functions (control menu) are different.
  • control menu Items that can be controlled even with possible functions (control menu) are different.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a control method capable of appropriately controlling a control target device according to a situation using an information terminal.
  • a control method includes a plurality of devices and an information terminal that controls a control target device that is at least one of the plurality of devices via a network.
  • a control method in a remote control system comprising: a candidate for a control target device to be controlled among the plurality of devices or an action type indicating a user's desired behavior in the user interface area in the display unit of the information terminal A step of displaying candidates for action types associated with operations on the control target device, and determining a display mode of a user interface area on a display unit of the information terminal via the network
  • a step of acquiring a plurality of control indicators, a selected action type or control target device, and the plurality of acquired A step of displaying one or more control menus in a user interface area in the display unit of the information terminal in a display mode determined based on the control index, and the 1 displayed in the user interface area in the display unit of the information terminal
  • control index includes an attribute of the operator of the information terminal, a time for operating the information terminal, a location where the information terminal exists, a location where the control target device exists, and an attribute of the control target device Any combination of the state of the control target device and the attribute of the control target function of the control target device is included.
  • control index includes a current position of an operator of the information terminal.
  • the control target device is a device that handles fire
  • the current position is the control target.
  • the display mode may be determined differently between when the device is outside the house and when the current position is within the house.
  • control indicator includes an attribute of an operator of the information terminal and a state of the control target device
  • control target device is a device that handles fire
  • the control target device is a device that handles fire
  • a control in which predetermined control is limited as compared with a case where the operator of the information terminal is an adult as a control menu in a user interface area in the display unit of the information terminal A menu may be displayed.
  • the predetermined control is on control of the control target device, and in the step of displaying the control menu, the control target device is turned off as the control menu in a user interface area of the display unit of the information terminal. Only the control may be displayed, and the on-control of the control target device may not be displayed.
  • control index includes an attribute of the operator of the information terminal and a current position of the operator of the information terminal, and in the step of displaying the control menu, the device to be controlled handles fire.
  • the operator of the information terminal is a child, and the current position is within the house where the control target device exists, the user interface area in the display unit of the information terminal has a control menu as the control menu. The same control menu as when the operator of the information terminal is an adult may be displayed.
  • control index includes the attribute of the operator of the information terminal, the current position of the operator of the information terminal, the attribute of the operator of another information terminal different from the information terminal, and the other
  • the control target device is a device that handles fire and the operator of the information terminal is a child
  • the information terminal When the operator of the other information terminal exists in the vicinity of the current position of the operator and the operator of the other information terminal is an adult, control is performed in the user interface area in the display unit of the information terminal.
  • the same control menu as when the operator of the information terminal is an adult may be displayed as a menu.
  • the action type candidate is associated with the action type candidate.
  • a warning condition that is a condition for issuing a warning to the operator of the information terminal
  • the step of displaying the control menu includes the confirmation
  • a warning display indicating the warning in a user interface area in the display unit of the information terminal May be displayed together with the control menu or superimposed on the control menu.
  • the operation to the control target device linked to the one of the action type candidates is It may be confirmed whether or not the warning condition of infringing on the privacy of a person different from the operator of the information terminal is satisfied.
  • an operation on the control target device linked to the one of the action type candidates is irreversible. It may be confirmed whether or not the warning condition of the operation is satisfied.
  • the control target device linked to one of the action type candidates is a video recorder, and an operation to the control target device linked to the one of the action type candidates is performed.
  • the operation on the control target device is an irreversible operation and satisfies the warning condition.
  • control target device when the first control menu is selected from among the control menus displayed on the information terminal, whether to cause the control target device to execute control corresponding to the first control menu is described above.
  • the control signal may be generated when it is confirmed that the control target device is to execute the control to be performed.
  • confirmation of control information related to control corresponding to the first control menu is performed by operating the information terminal.
  • a dialog dialogue
  • a control signal may be generated.
  • the step of generating a control signal may include generating a control signal after the confirmation is performed by the person in the step of displaying the message.
  • the person may be a person who uses a control target device operated by control corresponding to the first control menu.
  • the person using the control target device is a person in the vicinity of the control target device or a person who has previously controlled the control target device, and corresponds to the first control menu.
  • the control may be control for changing the state of the control target device or control for acquiring information related to the person's privacy by the control target device.
  • the message may be displayed on a display device that is a device different from the device to be controlled.
  • control signal when the person confirms that the person does not permit execution of control corresponding to the first control menu in the step of displaying the message, the first signal is displayed.
  • a control signal for causing the control target device to execute control corresponding to the control menu may not be generated.
  • the control corresponding to the first control menu is performed on the control target device. It is also possible to generate a control signal to be executed.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of the remote control system according to the first embodiment.
  • the remote control system 100 shown in FIG. 1 includes a plurality of devices and an information terminal that controls a control target device that is at least one of the plurality of devices via the network 5.
  • the remote control system 100 is composed of an information terminal 1, an information terminal 2, a device to be controlled in the home 3, and a server 4, which are connected via a network 5.
  • the information terminal 1 and the information terminal 2 are portable devices having a display unit having a touch panel function, such as a smart phone and a tablet.
  • the information terminal 1 and the information terminal 2 are not limited to these examples, and the type of the information terminal 1 and the information terminal 2 is as long as the information terminal 1 and the information terminal 2 have a display unit having a touch panel function. It doesn't matter.
  • the information terminal 1 and the information terminal 2 are described below as smart phones.
  • HGW 34 home gateway
  • HEMS home energy management system
  • control control target devices
  • the information terminals 1 and 2 and the home controller 36 have a function as a remote controller that makes a processing request to the control target device.
  • the control target device 300 is, for example, a television 301, a BD (Blue-ray Disc) recorder 302, a door phone 303, a heating device 304 such as a kotatsu, an IH (Induction Heating) cooking heater 305, an illumination 306, an air conditioner 307, or a water heater 308. .
  • the control target device 300 can be connected to the server 4 via the HGW 3 via a network. Further, the control target device 300 executes a predetermined process in response to the processing request notified from the HGW 3, and notifies the processing result to the HGW 3.
  • the HGW 34 has a function of notifying a processing request from the server 4 to the control target device 300 in the home 3 and notifying the server 4 of information acquired from the control target device 300 and a processing result.
  • the network 5 may be a local area network or a wide area network such as the Internet. In the present embodiment, the network 5 will be described as the Internet.
  • the server 4 receives a processing request from the information terminal 1 or the like and executes the processing request. In addition, the server 4 performs processing for inquiring the HGW 34 for information necessary for executing the processing request, or notifies the control target device of the processing request via the HGW 34.
  • FIG. 2 is a block diagram showing an example of the configuration of the information terminal in the first embodiment.
  • the information terminal 1 has a function as a remote controller that makes a processing request to the control target device 300.
  • the information terminal 1 (hereinafter also referred to as a smart phone) has a device ID, can measure the current position by GPS (Global Positioning System), and has a function of transmitting position information to the server 4. Further, when making a processing request to the control target device 300, the information terminal 1 notifies the device ID and the current position information together with the control content. Thereby, the user (operator of the information terminal 1), for example, by operating the information terminal 1, for example, forgetting to set the recording reservation or forgetting to turn off the recording, An operation such as turning off the kotatsu power supply, that is, an operation (control) on the control target device 300 from outside the house can be performed.
  • the information terminal 1 includes a display unit 11, an acquisition unit 12, a generation unit 13, a communication unit 14, and a control unit 15.
  • the display unit 11 is a touch display or the like, and has at least a user interface area where touch input is possible.
  • the display unit 11 is controlled by the control unit 15. That is, the display unit 11 displays a candidate for action type, a candidate for the control target device 300, a control menu, or the like in the display mode determined by the control unit 15 on the display screen including the user interface area.
  • the acquisition unit 12 acquires a plurality of control indexes for determining the display mode of the user interface area (display screen) on the display unit 11 of the information terminal 1 via the network 5.
  • control index includes the attribute of the operator of the information terminal 1, the time for operating the information terminal 1, the location where the information terminal 1 exists, the location where the control target device 300 exists, the attribute of the control target device 300, the control target The state of the device 300, the function attribute of the device to be controlled 300, etc., including any combination of these. Since specific examples will be described later, detailed description thereof is omitted here.
  • the control unit 15 includes, in the user interface area of the display unit 11 of the information terminal 1, a candidate for the control target device 300 to be controlled among a plurality of devices or a candidate for an action type indicating a user's desired action, Action type candidates associated with operations on the device 300 are displayed.
  • the control unit 15 displays one or more controls in the user interface area in the display unit 11 of the information terminal 1 in a display mode determined based on the selected action type or the control target device 300 and the acquired plurality of control indexes. Display the menu.
  • the control unit 15 causes the home where the control target device 300 exists to be present. It may be determined that the display mode is different between when the current position is outside and when the current position is within the house.
  • control target device 300 is a device that handles fire, and the operation of the information terminal 1
  • the control unit 15 controls the user interface area in the display unit 11 of the information terminal 1 so that predetermined control is limited as a control menu compared to the case where the operator of the information terminal 1 is an adult. A menu may be displayed.
  • the predetermined control is ON control of the control target device 300.
  • the control unit 15 may display only the off control of the control target device 300 as the control menu in the user interface area of the display unit 11 of the information terminal 1, and may not display the on control of the control target device 300. .
  • control index includes the attribute of the operator of the information terminal 1 and the current position of the operator of the information terminal 1, the controlled device 300 is a device that handles fire, and the information terminal 1
  • the control unit 15 displays a control menu in the user interface area of the display unit 11 of the information terminal 1 when the current position is in the house where the control target device 300 exists (home 3). The same control menu as when the operator of the information terminal 1 is an adult may be displayed.
  • the control indicator includes the attribute of the operator of the information terminal 1, the current position of the operator of the information terminal 1, the attribute of the operator of another information terminal 2 different from the information terminal 1, and the other information terminal.
  • the control target device 300 is a device that handles fire, and the operator of the information terminal 1 is a child, the control unit 15 operates the information terminal 1.
  • a control menu is displayed in the user interface area of the display unit 11 of the information terminal 1. The same control menu as when the operator of the information terminal 1 is an adult may be displayed.
  • the generation unit 13 When the first control menu is selected from one or more control menus displayed in the user interface area of the display unit 11 of the information terminal 1, the generation unit 13 performs control corresponding to the first control menu on the control target device 300. A control signal is generated for execution.
  • the communication unit 14 transmits the control signal generated by the generation unit 13 to the control target device 300 via the network 5.
  • FIG. 3 is a block diagram illustrating an example of a server configuration in the first embodiment.
  • the server 4 includes a database (DB 41), a specifying unit 42, a transmitting unit 43, a determining unit 44, an updating unit 45, and a generating unit 46.
  • DB 41 database
  • the server 4 includes a database (DB 41), a specifying unit 42, a transmitting unit 43, a determining unit 44, an updating unit 45, and a generating unit 46.
  • the server 4 receives a processing request from the information terminal 1, for example, and executes the processing request. Further, the server 4 performs a process of inquiring the HGW 3 for information necessary for executing the process request. The server 4 notifies the processing target device 300 of the processing request via the HGW 3.
  • the server 4 includes a database (DB 41), a specifying unit 42, a transmitting unit 43, a determining unit 44, an updating unit 45, and a generating unit 46.
  • DB 41 database
  • the server 4 includes a database (DB 41), a specifying unit 42, a transmitting unit 43, a determining unit 44, an updating unit 45, and a generating unit 46.
  • the type and device ID of each device to be controlled, the function of the device, information on the owner (individual / shared) who owns the device, and the like are registered. Since the control target devices have different functions (functions that can be provided), the registered information is different.
  • the functions of the kotatsu include power on and power off
  • the functions of the BD recorder include power on, power off, playback, fast forward, recording, and reservation.
  • the functions of the water heater include turning the power on and off, changing the hot water temperature, and starting hot water supply to the bath
  • the air conditioner functions are turning the power on and off, changing the operation mode, and changing the target room temperature. There are changes.
  • TV functions include power on / off, channel change, volume change, and timer viewing reservation.
  • the identifying unit 42 identifies the owner (operator) of the information terminal 1 (smart phone) that issued the processing request based on the device ID.
  • the determination unit 44 determines whether the information terminal 1 (smartphone) that issued the processing request exists in the home 3 based on the current location information of the operator and the home location information of the operator registered in advance. Determine if it exists outside.
  • the transmission unit 43 controls the information terminal 1 by transmitting an interface according to the attribute of the identified owner (operator), the current position of the information terminal 1 (smartphone), the attribute of the control target device, the function, and the like.
  • An interface corresponding to the situation can be provided to the unit 15.
  • FIG. 4 is a flowchart showing a control method of the remote control system according to the first embodiment.
  • the user activates the remote control function of the information terminal 1 (S1).
  • a function as a remote controller is provided by an application (remote control application) installed in the information terminal 1.
  • the remote control system 100 displays in the user interface area (display screen) in the display unit 11 of the information terminal 1 a candidate for the control target device 300 to be controlled among a plurality of devices or an action indicating a user's desired behavior. Candidates for action types associated with operations on the control target device 300 are displayed (S2). Then, the remote control system 100 acquires a plurality of control indexes for determining the display mode of the user interface area on the display unit 11 of the information terminal 1 via the network 5.
  • the remote control system 100 displays candidates for the control target device 300 to be controlled among a plurality of devices in the user interface area of the display unit 11 of the information terminal 1.
  • the remote control system 100 displays a control menu based on the control index (S4). More specifically, when the action type or control target device 300 is selected (Y in S3), the remote control system 100 is based on the selected action type or control target device 300 and a plurality of acquired control indexes. The display mode is determined, and one or more control menus are displayed in the user interface area of the display unit 11 of the information terminal 1 in the determined display mode. In S3, when it is not possible to confirm that the action type or the control target device 300 has been selected (N in S3), the process returns to S3 again to execute the process.
  • the remote control system 100 uses one (first) of one or more control menus displayed in the user interface area of the display unit 11 of the information terminal 1 by the touch input of the operator of the information terminal 1 or the like. Check if the control menu is selected.
  • the remote control system 100 when one of the control menus is selected (Y in S5), the remote control system 100 generates a control signal (S6). Specifically, when one of the control menus (first control menu) is selected (Y in S5), the generation unit 13 of the information terminal 1 controls the control corresponding to the selected first control menu. A control signal for causing the device 300 to execute is generated. Here, the control signal corresponds to the processing request. If it is not confirmed in S5 that one of the control menus has been selected (N in S5), the process returns to S5 and the process is executed again.
  • the remote control system 100 transmits a control signal to the control target device via the network 5 (S7). More specifically, the communication unit 14 of the information terminal 1 transmits the control signal (processing request) generated by the generation unit 13 to the server 4. The server 4 transmits the received control signal (processing request) to the control target device 300 via the HGW 34.
  • FIG. 5 is a timing chart showing an example of processing of the remote control system in the example of the first embodiment.
  • the function as a remote controller in the smart phone (information terminal 1) will be described as being provided by a remote control application installed in the smart phone, as described above.
  • an operator (hereinafter referred to as a user) of a smartphone (information terminal 1) activates a remote control application (S101).
  • the remote control application displays the GUI (Graphical User Interface) of the remote control application on the display screen 110 shown in FIG. 6 (S102).
  • GUI Graphic User Interface
  • FIG. 6 is a diagram illustrating an example of a display screen of a smartphone in the example of the first embodiment.
  • a display screen 110 illustrated in FIG. 6 corresponds to the interface area of the display unit 11 and is an area where a user can perform touch input.
  • kotatsu and a BD recorder are displayed as icons (icons 52 and 53) as control target device candidates.
  • the user can select the kotatsu as the control target device by tapping (touch input) the kotatsu icon 52.
  • the remote control application for example, information as shown in FIG. 7, that is, the ID of the smartphone (information terminal 1), the position information of the smartphone (positioning information by GPS), the kotatsu A processing request for the kotatsu including information such as the device ID is transmitted to the server 4 (S103).
  • Information on the smart phone ID and the control target device ID shown in FIG. 7 is assumed to be shared between the server 4 and the remote control application in advance.
  • FIG. 7 is a table showing the contents of information transmitted to the server by the remote control application in the example of the first embodiment.
  • the smart phone position information may include GPS altitude information in addition to GPS positioning information. Positioning by GPS of the position information may be performed periodically, or may be configured to be performed when the remote control application is activated or transmitted to the server 4.
  • the positioning of the position information is not limited to the GPS method.
  • the position information of a base station of a smart phone may be used, or the current position may be estimated from a movement history using an acceleration sensor included in the smart phone.
  • the home entrance lock is locked using a smart phone, it may be determined that the user has gone out of the house. That is, there are various methods for estimating position information (positioning), and any of them may be adopted.
  • FIG. 8 is a diagram illustrating an example of a user information table registered in the DB of the server in the example of the first embodiment. That is, when the smart phone ID notified from the remote control application (information terminal 1) is “1”, the specifying unit 42 of the server 4 uses FIG. 8 and the owner of the smart phone is “dad”. Can be identified as “adult”.
  • the server 4 executes a determination process (S105). More specifically, the determination unit 44 of the server 4 has issued the processing request based on the current position information of the smart phone notified from the smart phone remote control app and the pre-registered home position information. Is in the house 3 or outside the house.
  • the determination unit 44 of the server 4 determines that the smart phone is located (exists) in the home 3 when the difference between the current position information and the home position information is within ⁇ 10 m, and other than that, It is determined that the position (exists).
  • the determination unit 44 of the server 4 may determine that the smart phone is located in the home 3 regardless of the positioning information when the smartphone is connected to the home wireless LAN.
  • the determination unit 44 of the server 4 may determine that the smart phone is located outside the home when the positioning information is not obtained or when the positioning information is obtained but the positioning accuracy is low. If the functions that can be operated from outside the house are limited so that the functions that can be operated from the inside of the house 3 cannot be operated from outside the house from the viewpoint of safety or the like, it is erroneously determined to be the inside of the house 3 This is because it is possible to improve safety when the person is determined to be out of the house.
  • the determination unit 44 of the server 4 determines in S105 that the smartphone (information terminal 1) that issued the processing request exists (position) in the home 3.
  • the server 4 executes an update process for updating the current state of the control target device (S108). More specifically, based on the control target device ID notified from the smart phone, the update unit 45 of the server 4 performs an exchange with the HGW 34 that detects a change in the state of the control target device in real time (S106 and In step S107, the current state of the control target device is acquired, and for example, an update process for updating the state item (current state of the control target device) in the device information table illustrated in FIG. 9 is performed (S108). In the present embodiment, in S108, as shown in FIG. 9, the item of the kotatsu status of the device ID “1” is “power on”.
  • FIG. 9 is a diagram showing an example of a device information table registered in the server DB in the example of the first embodiment.
  • the DB 41 of the server for example, information related to the control target device as shown in FIG. 9 is registered as a device information table.
  • the device information table shown in FIG. 9 the device ID, device type, owner, and operable functions are registered in advance.
  • the server 4 can acquire the status of the control target device in real time through the exchange with the HGW 34, the current status of the control target device can be reflected in the status item of the device information table registered in the DB 41. it can.
  • the server 4 may inquire the control target device via the HGW 34 every time there is a processing request from the smart phone.
  • the server 4 stores the location of the smart phone, the content of the processing request, the state of the control target device, and the like as a plurality of control indexes in the DB 41 as a log. Then, the server 4 may analyze the plurality of control indexes and use them for determining the control menu of the control target device and the display mode of the user interface.
  • the server 4 generates display information based on a plurality of control indexes (S109). More specifically, the generation unit 46 of the server 4 uses a plurality of control indices such as user attributes, smart phone positions, and the current state of the kotatsu, and a device information table shown in FIG. Whether the ON button and OFF button are displayed or not is determined. Based on the determination result, the server 4 generates display information indicating the display mode and display content on the display unit 11 to be provided to the control unit 15 of the smartphone.
  • a plurality of control indexes such as user attributes, smart phone positions, and the current state of the kotatsu, and a device information table shown in FIG. Whether the ON button and OFF button are displayed or not is determined.
  • the server 4 Based on the determination result, the server 4 generates display information indicating the display mode and display content on the display unit 11 to be provided to the control unit 15 of the smartphone.
  • the generation unit 46 of the server 4 has the attribute of the user (owner) of the smartphone as “adult”, the current position of the smartphone as “home”, and the current state of the kotatsu as “power supply” Since it is “ON”, as shown in FIG. 9, it is determined that the ON button as the control menu is “non-display” and the OFF button is “display”.
  • the generation unit 46 of the server 4 generates display information based on the determination result.
  • the generation of display information has been described as being executed by the server 4, but the present invention is not limited to this.
  • the server 4 may notify the determination result to the remote control application, and may generate display information based on the determination result notified of the remote control application.
  • the server 4 notifies (transmits) the generated display information to the remote control application (S110).
  • the remote control application executes a UI display process based on the notified (transmitted) display information (S111). More specifically, the smart phone remote control application (control unit 15) determines the content (display content) to be displayed in the user interface area of the display unit 11 and the display mode based on the transmitted display information. Then, the remote control application causes the display unit 11 to display the display content and display mode (display screen 110) determined as shown in FIG. 10A or 10B, for example.
  • FIGS. 10A and 10B are diagrams illustrating an example of a display screen of the smartphone in the example of the first embodiment.
  • the remote control application is determined to be non-displayed in S109 on the display screen 110 displayed on the display unit 11 based on the notified (transmitted) display information, for example, as shown in FIG. 10A.
  • the ON button is not displayed as the control menu, and only the OFF button (power off button 521) is displayed as the control menu.
  • the remote control application may indicate that the ON button (power-on button 522) determined to be non-displayed cannot be selected as a control menu by graying out display.
  • the user of the smartphone instructs to execute a process corresponding to the button by tapping (touch input) the button displayed on the display screen 110 (user interface area). Then, the remote control application notifies (transmits) a control signal indicating an instruction to execute the process to the server 4 (S112).
  • the control signal is a control signal indicating that the power-off process is executed.
  • the server 4 notifies the control target device via the HGW 34 so as to execute the control signal notified from the remote control application (S113, S114).
  • the server 4 since the device to be controlled is a kotatsu, the server 4 notifies the kotatsu to execute the power-off process (execution instruction) indicated in the control signal.
  • the control target device that has received the control signal executes the processing (S115), and notifies the server 4 that the processing is completed via the HGW 34 (S116, S117).
  • the kotatsu executes a power-off process, and notifies the server 4 through the HGW that the execution of the process has been completed.
  • the control target device has been described as receiving a control signal, the present invention is not limited to this. Only a signal requesting execution of the process may be received based on the control signal by the server. In this case, the control target device may perform the process based on the signal.
  • the server 4 receives a notification that the process is completed from the control target device via the HGW 34, and performs an update process for updating the current state of the control target device (S118).
  • the update unit 45 of the server 4 receives a notification that the processing has been completed from the kotatsu via the HGW 34, and sets the “status” item in the device status table shown in FIG. 9 to “power off”. Update process to update.
  • control method of the present embodiment for example, there is a risk of fire from the viewpoint of safety, privacy, cost (such as electricity bill), noise / vibration (disturbance to the surroundings), and the like. It is possible to suppress specific control depending on the situation, such as suppressing remote control on the device. Thereby, it is possible to realize a control method that is not limited to the comfort of device operation.
  • the control unit 15 of the information terminal 1 changes the content displayed on the display unit 11 and the display mode depending on whether the user attribute is “adult” or “child”.
  • the reason is that if the kotatsu is remotely controlled as the device to be controlled 300, the risk of fire may not be denied if it is poor. For this reason, if you want to turn on an off-state kotatsu from outside the house, for adults who can determine the risk of fire, set the “ON button” on the display unit 11 (remote display screen) of the smartphone (information terminal 1). Display and enable the power to be turned on.
  • the “ON button” is not displayed (or inactive display) on the remote control display screen of the smartphone (information terminal 1) so that the power of the kotatsu cannot be turned on. . Thereby, it becomes possible to prevent the risk of fire.
  • control indices an index indicating what the control is based on
  • Attributes related to humans include handicap, dementia / acupuncture, the elderly (ordinary), adults (people who work), adults (housewives), adults (fathers), adults (mothers), men, women, married, married , Single, with child, no child, underage, under 18 years old, student, child (university student), child (middle and high school student), child (elementary school student), child (infant), baby (high-high period), baby (turning over period), Personally authenticated, including relationships with nearby people (family, relatives, acquaintances / friends, supervisors / colleagues / subordinates, customers, etc.).
  • the attributes related to time are the operating time (early morning, morning, morning, noon, afternoon, evening, night, midnight, etc.), continuous usage time, cumulative usage time, no operation time, last logon date, date, day of the week, holiday , Anniversary, sunrise / sunset times.
  • the following may be included in the outside and inside of the house where the operator is located.
  • the installation location of the control target equipment, the current location outside the home, and the home include the following.
  • the attributes of the control target device include the type of device (electric heater, BD recorder,%), Whether to handle fire, the type of communication means (wifi, NFC, PLC, etc., Presence / absence of a security module. , Privacy information may be handled, sensor type, input means type, etc. may be included.
  • FIG. 11 is a block diagram showing an example of the configuration of the information terminal in the second embodiment. Elements similar to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the information terminal 1A shown in FIG. 11 is different from the information terminal 1 according to Embodiment 1 in that a memory 16 is added and the function of the control unit 15A is different.
  • the control unit 15 ⁇ / b> A is a behavior type candidate indicating a user's desired behavior in the user interface area (display screen) of the display unit 11 of the information terminal 1 ⁇ / b> A and is associated with an operation on the control target device 300. Display candidates.
  • the control unit 15A displays one or more control menus in the user interface area of the display unit 11 of the information terminal 1A in a display mode determined based on the selected action type and the acquired plurality of control indexes.
  • the control unit 15A when the action type candidate is displayed, when the operator of the information terminal 1A selects one of the action type candidates, the control unit 15A associates the action type candidate with one of the action type candidates. It is confirmed whether or not the operation on the control target device 300 satisfies a warning condition that is a condition for issuing a warning to the operator of the information terminal 1A.
  • a warning condition that is a condition for issuing a warning to the operator of the information terminal 1A.
  • the control unit 15A issues a warning to the user interface area in the display unit 11 of the information terminal 1A.
  • the warning display shown is displayed together with the control menu or superimposed on the control menu.
  • the control unit 15A performs an operation on the control target device 300 associated with one of the action type candidates. It may be confirmed whether or not a warning condition of infringing on the privacy of a person different from the operator of 1A is satisfied.
  • the control unit 15A performs an irreversible operation on the control target device 300 linked to one of the action type candidates. It may be confirmed whether or not the warning condition is satisfied.
  • the control target device 300 linked to one of the action type candidates is a video recorder, and an operation to the control target device 300 linked to one of the action type candidates is performed.
  • the recorded content is to be deleted, it may be confirmed that the operation on the control target device 300 is an irreversible operation and the warning condition is satisfied.
  • the memory 16 holds warning conditions and is referred to by the control unit 15A.
  • the operation of the remote control system according to the second embodiment also operates according to the flowchart shown in FIG. In the present embodiment, detailed processing of S2 related to warning display will be described.
  • FIG. 12 is a flowchart showing the detailed processing of S2 of the remote control system in the second embodiment.
  • the remote control system displays, in the user interface area of the display unit 11 of the information terminal 1A, the action type candidate indicating the user's desired action and the action type candidate associated with the operation on the control target device. Is displayed (S2).
  • the remote control system displays action type candidates in the user interface area of the display unit 11 of the information terminal 1A (S21).
  • the remote control system performs an operation on the control target device 300 associated with the one of the action type candidates by operating the information terminal 1A. It is confirmed whether or not a warning condition which is a condition for issuing a warning to the person is satisfied (S22).
  • the remote control system confirms that the operation on the control target device 300 associated with one of the action type candidates satisfies the warning condition (Y in S22)
  • the user in the display unit 11 of the information terminal 1A A warning display indicating a warning is displayed in the interface area together with the control menu or superimposed on the control menu (S23).
  • the remote control system If the remote control system cannot confirm that the operation on the control target device 300 associated with one of the action type candidates satisfies the warning condition (N in S22), the remote control system ends the detailed process of S2. The process proceeds to S3 shown in FIG.
  • FIG. 13 is a timing chart showing an example of processing of the remote control system in the example of the second embodiment.
  • the function as a remote controller in the smart phone is provided by the application server program running on the server 4 or the HGW 34 from the smart phone through a viewer application (hereinafter referred to as a browser) such as a Web browser.
  • a browser such as a Web browser.
  • the application server program is assumed to be running on the server 4.
  • Smartphone ⁇ server an operator (hereinafter referred to as a user) of a smart phone (information terminal 1) activates a browser on the smart phone (SB101). This operation corresponds to the operation of S101 in the example of the first embodiment.
  • the smartphone accesses the login page provided by the server 4 through the browser (SB102).
  • the smart phone makes a user authentication request using the user ID and password input by the user or stored in the smart phone (SB103).
  • the server 4 checks its own DB 41 to confirm that the access is from a registered user (SB104), and associates the session with the user ID.
  • the server 4 acquires an action list that can be instructed by the user based on the user ID from, for example, an action list table shown in FIG. 14 stored in the DB 41 (SB105).
  • FIG. 14 is a diagram showing an example of an action list table in the example of the second embodiment.
  • “behavior type” represents a type of action that can be instructed by the user
  • “device ID” represents an ID that uniquely indicates the control target device.
  • an operation that spans multiple devices is required for one action.
  • a plurality of values corresponding to the number of devices are stored in columns after “device ID”.
  • the structure of the action list table may be normalized as a database.
  • device type represents the type of the control target device.
  • Olener represents a person who manages the control target device.
  • State represents the state of the control target device.
  • the “required time” represents the time required to execute an action when an instruction is given to execute the action.
  • Communication means represents a communication means used by the action.
  • the “privacy infringement level” represents the degree of privacy infringement caused by an action when an action is instructed to be executed.
  • the privacy infringement level can also be configured to dynamically change according to the user's authority, the relationship with the owner, time, place, and the like.
  • Non-reversible operation is a control (operation) that cannot be restored once the execution of the control (operation) associated with the operation of the control target device is performed once when an action is instructed to execute It represents how.
  • the operation schedule represents the action schedule of the device to be controlled.
  • the “set value allowable range” represents the allowable range of the set value for which the user ID can be set.
  • the allowable range of setting values that can be set by the user ID varies depending on the user's attributes, the group to which the user belongs, and the like. For example, if the user is a child, the allowable range of the air conditioner temperature is set to 15 degrees to 20 degrees.
  • Continuous operation allowable time represents a time when it is better to warn the user or automatically turn off when continuous operation is continued. That is, when the device is continuously operated beyond this time, the server issues an instruction to display a warning notification on the user's smartphone.
  • “Operation cost” represents the consumption cost of electricity, communication, water supply, gas, etc. necessary to perform the operation.
  • User authentication indicates whether user authentication is necessary to perform the operation (control).
  • the “start lag” represents the time taken to start the operation.
  • “Status acquisition” indicates whether the status after the operation can be acquired from a remote location.
  • the “user position effect” indicates the positional relationship and the presence / absence of the effect when the effect is exerted by the positional relationship between the user and the device or when the effect is not exerted.
  • Equipment position represents the installation location of the apparatus.
  • the server 4 generates a smart phone display screen based on the behavior list acquired from the behavior list table shown in FIG. 14 (SB106). Specifically, the server 4 generates information (display screen information) for displaying the action type candidates on the display screen of the user's smartphone, based on the acquired action list.
  • the server 4 selects one of the action type candidates
  • the operation of the control target device associated with the one of the action type candidates satisfies, for example, the warning condition illustrated in FIG. 15 (in SB107).
  • the display screen information generated to be displayed on the display screen of the smartphone as shown in FIG. 16A, for example, is processed so as to display a warning to the user (SB108).
  • FIG. 15 is a diagram showing a warning condition that is a condition for issuing a warning to the operator (user) of the information terminal in the example of the second embodiment.
  • a condition such as an operation that affects the user, such as an operation that the user is troubled with, is set as a warning condition. Is shown as
  • the server 4 transmits the generated display screen information (N in SB107) or the display screen information processed in SB108 to the smartphone (SB109).
  • FIG. 16A and FIG. 16B are diagrams illustrating an example of a display screen accompanied with a warning display in the example of the second embodiment.
  • an item button 61 “Transfer video to car navigation” is underlined. This is because the content of the home 3 in which the action of downloading a video to the car navigation (operation on a plurality of control target devices linked to the item buttons 61) is different from the server 4 that is the control target device storing the video. This is because after the server acquires the moving image, conversion processing and transfer processing into a format in which the car navigation system can be played back are required in the content server. That is, underline emphasis is given to warn the user that the content server cannot be used during the conversion process and the transfer process.
  • the timelines of the plurality of control target devices associated with the item button 62 “transfer video to car navigation” that is one of the action type candidates are displayed. It may be displayed. This is because the occupied time of each control target device can be more clearly shown to the user as a warning display.
  • the smartphone selects the action type selected for the server 4 via the browser. Is transmitted (SB111).
  • the action type “transfer video to car navigation” is selected from the action type candidates.
  • the server 4 notifies the control target device 300 via the HGW 34 so as to execute the processing notified from the browser.
  • the server 4 notifies the content server in the home 3 of a processing request to execute a process of transferring a moving image to the car navigation system (SB111).
  • SB111 car navigation system
  • the server 4 rewrites the “state” in the action list table to “moving video transfer process”, and at the same time, the “action schedule” in the action list table is “moving video transfer process” until the required time. I will add that.
  • the content server that has received the processing request executes processing for transferring the moving image to the car navigation system (SB112), and notifies the server that processing has been completed via the HGW (SB113).
  • the server 4 updates the “status” of the action list table to “standby” and deletes the already completed schedule from the “operation schedule”.
  • the emphasis method may be changed according to the degree of warning so that the display screen information is displayed. For example, when one of the action type candidates is selected and executed, the number or type of icons may be changed or more emphasized depending on the time during which the control target device associated with the selected action type is occupied. It may be changed to a different color.
  • FIGS. 17 to 20B are diagrams showing an example of a display screen accompanied by a warning display in the example of the second embodiment.
  • the border display method of the item button 62 may be changed to display a warning by causing a vibrating animation to be performed.
  • a warning display may be performed using the number of icons 63 displayed together with the item buttons 62 or the icon 64 and the balloon 64.
  • the change in the degree of warning may be indicated by changing the number of icons and the color according to the operation cost when the action type is executed.
  • the method of displaying a warning to the user is not limited to the above example.
  • the warning and the degree of warning may be changed by appropriately combining the following warning methods.
  • a warning is further displayed if a predetermined warning message is satisfied.
  • a warning is displayed for an operation (control) that affects the user, so that the user can perform control after recognizing whether or not the operation affects the user.
  • a warning is further displayed if a predetermined warning message is satisfied.
  • a control menu based on the control index is displayed in the interface area of the display unit 11 of the information terminal 1A (S4), a warning may be further displayed if a predetermined warning message is satisfied.
  • a dialog is further displayed if the selected control target device satisfies a predetermined condition.
  • a dialog is a message that prompts the user to act.
  • a dialog is a message that is displayed to ask the user for input or to give some notification to the user.
  • FIG. 21 is a block diagram illustrating an example of the configuration of the information terminal according to the third embodiment. 2 and 11 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the information terminal 1B shown in FIG. 21 is different from the information terminal 1 according to Embodiment 1 in that a memory 16B is added and the function of the control unit 15B is different.
  • the control unit 15B displays candidates for the control target device 300 to be controlled among a plurality of devices in the user interface area (display screen) in the display unit 11 of the information terminal 1B. Further, the control unit 15A displays one or more control menus in the user interface area of the display unit 11 of the information terminal 1B in a display mode determined based on the selected control target device 300 and the acquired plurality of control indexes.
  • control unit 15B controls the control corresponding to the first control menu when the first control menu is selected from the control menus displayed in the user interface area of the display unit 11 of the information terminal 1B.
  • a dialog prompting the operator of the information terminal 1B to confirm whether or not the target device 300 is to execute is displayed on the display unit 11 of the information terminal 1B.
  • the control unit 15B causes the generation unit 13 to generate a control signal when it is confirmed by the operator of the information terminal 1B that the control target device 300 is to execute control corresponding to the first control menu.
  • the control unit 15B confirms the control information related to the control corresponding to the first control menu to the operator of the information terminal.
  • the prompting dialog may be displayed on the display unit 11 of the information terminal 1B.
  • the control part 15B should just make the production
  • the memory 16B holds, for example, a pre-dialog table as shown in FIG. 22 as a condition for displaying a dialog prompting the operator to confirm, and is referred to by the control unit 15B.
  • FIG. 22 is a diagram illustrating an example of the advance dialog table according to the third embodiment.
  • the device ID of the device to be controlled is associated with the status flag, the importance level, and the message text when operated by the user.
  • this pre-dialog table may be held in the DB 41 of the server 4 instead of the memory 16B of the information terminal 1B.
  • “Status flag” is an item indicating a condition for displaying a dialog when the user operates (controls) the control target device.
  • “Importance” is an item indicating the importance of the content to be displayed as “message text”.
  • a display method to be displayed as a dialog according to the importance is defined.
  • three modes of “notification”, “important”, and “abnormal” are shown as display methods.
  • the number of modes is not limited to three, and the number of modes is not limited as long as the importance is defined according to the number of levels to be classified.
  • Message text is an item indicating text to be displayed in the dialog.
  • the prior dialog table shown in FIG. 22 shows an example in which one item is assigned to the control target device, but this is not a limitation. A plurality of items may be assigned to one device to be controlled.
  • the operation of the remote control system according to the third embodiment also operates according to the flowchart shown in FIG.
  • dialog processing performed after “Y in S5” and before “S6” that is, between S5 and S6) related to the dialog will be described.
  • FIG. 23 is a flowchart showing dialog processing of the remote control system in the third embodiment.
  • the information terminal 1B is assumed to be a smart phone.
  • the function as a remote controller in the smart phone (information terminal 1B) will be described as being provided by a remote control application installed in the smart phone, as in the first embodiment. Further, it is assumed that the pre-dialog table shown in FIG.
  • the remote control system checks whether one of the control menus is selected by touch input of the operator of the information terminal 1B, and confirms that one of the control menus is selected. (Y in S5).
  • the remote control system checks whether or not the state of the control target device that executes the selected control menu corresponds to an item in the advance dialog table managed by the server 4 (SC201). More specifically, the server 4 searches the pre-dialog table for the ID of the control target device that executes the selected control menu, and confirms whether the status of the control target device corresponds to the content of the status flag. . If there is an item corresponding to the status flag, the server returns the corresponding item to the remote control application.
  • the smart phone remote control application performs dialog display processing for determining and displaying the dialog format according to the level of importance. (SC203).
  • the remote control application transmits a processing request to the server 4 (SC204). More specifically, the remote control system generates a control signal in the generation unit 13 when it is confirmed by the operator of the information terminal 1B that the control target device 300 performs control corresponding to the first control menu. Let Then, the remote control system transmits the generated control signal to the server.
  • FIG. 24A to FIG. 28B are diagrams showing an example of a dialog displayed on the display surface of the information terminal in the third embodiment.
  • the dialog displayed on the display screen 119 is not limited to this example.
  • the operation schedule may be presented to the user as a dialog.
  • the state of the consumables such as the washing / dryer-dedicated detergent and the lint filter and the aging condition may be included in the advance dialog table as the “status flag”.
  • FIG. 25A displays the operation UI of the electric heater with the device ID “11”.
  • a dialog when the user presses the “power on” button on the display screen 120 of FIG. 25A is shown on the display screen 121 of FIG. 25B.
  • FIG. 25B is an example in which a dialog generated by the remote control application is displayed because the state of the control target device satisfies the condition of “status flag” and a reply of importance “important” is received.
  • the area of the “Yes” button is reduced and the area of the “No” button is increased.
  • the “No” button is pressed, the control target device is not controlled. Thus, by changing the area of the button, the user can be noticed through the dialog display.
  • the dialog display may be performed on the display screen 122 as shown in FIG. 25C.
  • the user may be made aware by changing the “Yes” button from the push type to the slide type on the display screen 122 shown in FIG. 25C and changing the type of the button.
  • the tap method such as a long press of the “Yes” button or a double tap may be changed.
  • the dialog display may be performed on the display screen 123 that displays the “message text” itself on the button. Then, when the user presses the button, a dialog may be displayed on the display screen 124 again as shown in FIG. 26B. By increasing the number of selections, the user can be noticed.
  • FIG. 27A is a diagram showing a display screen 126 in a situation where a user identified as “adult” by the user information table shown in FIG. 8 is turning on the television (device to be controlled). That is, since the television status satisfies the “status flag” of FIG. 22, as a result of receiving a reply of importance “notification”, the remote control application displays a dialog indicating the notification on the display screen 126 of the information terminal 1B. ing.
  • FIG. 27B it can be seen from the user information table shown in FIG. 8 that the owner “Grandpa” has been turned on, and another action such as contacting the user “Grandpa” or examining the current location. You can give a choice.
  • a dialog display may be performed on a display screen 128 as shown in FIG. 28B. That is, the display screen 127 of FIG. 28A displays the operation UI of the recorder with the device ID “13”, and when the user presses the “power on” button on the display screen 127 of FIG. 28A, the display screen 128 of FIG.
  • abnormality there is an abnormality in the recorder, and the error number and the URI (Uniform Resource Identifier) of the inquiry destination are displayed as a dialog to the user.
  • the user accesses the inquiry site or cancels the operation of the recorder once.
  • This example of the importance “abnormality” is merely an example, and there may be an example in which only an abnormality is displayed to the user and an inquiry is automatically made.
  • control target A dialog is displayed on the display unit of the information terminal before operating the operation target device depending on the status of the device.
  • the operation (control) affecting the user is alerted by the dialog display, so that the user can perform the control after recognizing whether or not the operation affects the user.
  • the function “power on / off” in the control target device is shown, but other functions may be used. In this embodiment, the two choices of “Yes” and “No” are used. However, the server may also define options and button types in addition to the message text.
  • FIG. 29 is a diagram showing an overall configuration of the remote control system according to the fourth embodiment. Elements similar to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the remote control system 100A shown in FIG. 29 differs from the remote control system 100 according to Embodiment 1 in the functions of the information terminal 1C, the information terminal 2C, and the server 4A, and a sensor (not shown) is installed in the home 3A. Is different.
  • sensors for detecting whether or not a person is in a room are installed in some rooms. These sensors are, for example, human sensors using infrared rays, and human recognition devices using a camera.
  • the HGW 34A has a function of notifying the processing request from the server 4A to the control target device 300 in the home 3 and notifying the server 4A of information and processing results acquired from the sensors and the control target device 300.
  • the home controller 36 has a function as a remote controller that makes a processing request to the control target device.
  • the home controller 36 does not include a GPS, but has a terminal ID, and notifies the server 4A of its own terminal ID before making a processing request in the same manner as the information terminal 1C or the like.
  • FIG. 30 is a block diagram illustrating an example of the configuration of the information terminal in the fourth embodiment. 2 and 11 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the information terminals 1 ⁇ / b> C and 2 ⁇ / b> C are, for example, smart phones, and have a function as a remote controller that makes a processing request to the control target device 300.
  • the information terminal 1C or the like has a terminal ID, can measure the current position by GPS, and has a function of transmitting position information to the server 4A.
  • the information terminal 1C or the like makes a processing request for the control target device, the information terminal 1C or the like that makes the request in advance and the current position information are notified to the server 4A.
  • control unit 15 is different from the information terminal 1 according to Embodiment 1 in the function of the control unit 15C.
  • functions of the control unit 15 will be described.
  • the control unit 15C is an action type candidate indicating an action desired by the user in the user interface area (display screen) of the display unit 11 of the information terminal 1C and associated with an operation on the control target device 300. Display candidates. Further, the control unit 15C displays one or more control menus in the user interface area of the display unit 11 of the information terminal 1C in a display mode determined based on the selected action type and the acquired plurality of control indexes.
  • the control unit 15C when the first control menu is selected from the control menus displayed on the information terminal 1C, the control unit 15C gives the communication unit 14 a person who is affected by the control corresponding to the first control menu. A message is sent to confirm that control is to be performed. Then, the control unit 15C may cause the generation unit 13 to generate a control signal after confirmation by the person.
  • the person is, for example, a person who uses the control target device 300 operated by the control corresponding to the first control menu.
  • the person using the control target device 300 includes a person in the vicinity of the control target device 300 or a person who has previously controlled the control target device 300.
  • the control corresponding to the first control menu may be, for example, control for changing the state of the control target device 300 or control for the control target device 300 to acquire information related to a person's privacy.
  • control unit 15C when the control unit 15C confirms a response that the person does not permit execution of control corresponding to the first control menu, the control unit 15C controls the generation unit 13 to perform control corresponding to the first control menu. It is possible that the control signal to be executed is not generated.
  • control unit 15C when the control unit 15C confirms that there is no response for a predetermined time by the person, the control unit 15C causes the generation unit 13 to execute control corresponding to the first control menu on the control target device 300. May be generated.
  • control part 15C notifies the message of confirming that it controls to the person affected by the control corresponding to a 1st control menu, it is not restricted to it.
  • the server 4A may notify.
  • FIG. 31 is a block diagram illustrating an example of a server configuration according to the fourth embodiment. Elements similar to those in FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the server 4A receives a processing request from the information terminal 1C such as a smart phone and executes the processing request.
  • the processing request is notified to the control target device via the processing of inquiring the HGW 34A for information necessary for executing the processing request or the HGW 34A.
  • the 31 is different from the server 4 according to the first embodiment in the functions of the DB 41A, the determination unit 44A, and the generation unit 46A.
  • the DB 41A In the DB 41A, information on the type and device ID of each control target device, the function of the control target device, the location (for example, the room name) where the control target device is placed, and the like are registered. The DB 41A also registers information related to the constituent members of the household where the devices to be controlled are placed. The DB 41A also stores information on the current operating state of the control target device, whether or not there are people in each room, and information on who is there if there are people, and is updated according to information from the HGW 34A. ing.
  • the specifying unit 42 specifies the owner of the information terminal 1C or the like based on the terminal ID.
  • the determination unit 44A determines whether the information terminal 1C or the like is in the home 3A or outside the home based on the current location information of the operator of the information terminal 1C and the home location information registered in advance. Further, the determination unit 44A refers to the DB 41A at the determination timing to determine whether there is another person in the room with the control target device or a nearby room in the home 3A. Accordingly, the server 4A can provide an interface according to the identified owner attribute, the position of the information terminal 1C, the attribute of the control target device, the function, the surrounding state of the control target device, and the like.
  • the generation unit 46A When the generation unit 46A receives a notification that the first control menu is selected by the information terminal 1C, the generation unit 46A confirms that the person affected by the control corresponding to the first control menu is to be controlled. Is generated and transmitted to the control target device 300, and display screen information indicating that confirmation is in progress is generated and transmitted to the information terminal 1C.
  • the generation unit 46 ⁇ / b> A may transmit the control signal transmitted and held from the information terminal 1 ⁇ / b> C to the control target device 300 after confirmation by the person.
  • each control target device such as turning off the power to the TV or the air conditioner forgetting to turn off
  • the control target device is made to emit a confirmation sound or a confirmation display.
  • the control can be executed after confirmation from a person.
  • FIG. 32 is a timing chart showing an example of processing of the remote control system in the example of the fourth embodiment.
  • a function as a remote controller is provided by an application (remote control application) installed in the information terminal 1C.
  • an application remote control application
  • a television is a device to be controlled and power-off control is performed on the television by remote control.
  • an operator hereinafter referred to as a user of a smart phone (information terminal 1C) activates a remote control application (SD101).
  • SD101 remote control application
  • the remote control application transmits a device list request to the server 4A at the time of activation or resumption of operation, and also transmits, for example, the terminal ID of the smartphone and the current position information in a format as shown in FIG. 33A (SD102).
  • FIG. 33A is a diagram illustrating an example of information transmitted in the SD 102 in the fourth embodiment. That is, the smartphone with the terminal ID “01” is positioned at 35.6766 degrees north latitude and 139.7704 degrees east longitude at 14:45:41 on December 24, 2012 in Japan standard time (currently Position information).
  • the device list means candidates for the control target device 300 to be controlled among a plurality of devices.
  • the server 4A updates the DB 41A (SD103). Specifically, the server 4A updates, for example, the user information table shown in FIG. 33B registered in the DB 41A according to the information sent in the SD 102.
  • FIG. 33B is a diagram showing an example of a user information table registered in the server in the example of the fourth embodiment.
  • the server 4A can determine that the notified information terminal 1C is a smartphone and the owner is “dad”.
  • the SD 103 is a process corresponding to the specifying process of S104 in FIG.
  • the server 4A performs in-home determination processing (SD104). Specifically, the server 4A determines that the smart phone (information terminal 1C) that issued the processing request is based on the current location information transmitted (notified) from the remote control application and the home location information registered in advance. It is determined whether it is located (exists) at 3A or located outside (exists). For example, as in the first embodiment, when the difference between the current position information and the home position information is within ⁇ 10 m, it is determined that the smartphone is located (exists) in the home 3A, and the other positions are located outside the home ( Is determined to exist.
  • SD104 in-home determination processing
  • SD104 is a process corresponding to the determination process of S105 of FIG. In the present embodiment, the following description will be given assuming that the smart phone is determined to be located outside the home in SD104.
  • the server 4A performs an operable device extraction process (SD105). Specifically, the server 4A searches a home device table shown in FIG. 34A registered in the DB 41A, for example, and extracts devices that can be operated outside the home. In addition, the server 4A extracts information about a person in the vicinity of each device from, for example, the sensor information table illustrated in FIG. 34B registered in the DB 41A.
  • FIG. 34A is a diagram illustrating an example of a home device table registered in the server in the example of the fourth embodiment
  • FIG. 34B is a diagram of the sensor information table registered in the server in the example of the fourth embodiment. It is a figure which shows an example.
  • the server 4A generates operable device list information (display screen information) displayed by the smart phone remote control application based on the information extracted from the tables shown in FIGS. 34A and 34B. For example, the server 4A generates operable list information as shown in FIG. 35, including a list of devices to be operated in the home and people (neighbors) in the vicinity of each device. Note that the operable list information illustrated in FIG. 35 includes a list of operations that can be performed on each device and information regarding which operations require confirmation with respect to a nearby person.
  • FIG. 35 is a diagram showing an example of operable list information returned from the server to the smart phone in SD 106 in the example of the fourth embodiment. If the process name described in “Possible process” in FIG. 35 ends with * (asterisk), it indicates that the process requires confirmation of the nearby person when there is a nearby person. .
  • SD 105 is a process corresponding to the display information generation process in S109 of FIG.
  • the server 4A returns the operable device list information generated to the smart phone (SD106).
  • FIG. 36 is a diagram illustrating an example of a display screen of the smart phone in the example of the fourth embodiment.
  • a television and an air conditioner are displayed as the control target devices, and the power is turned off and a timer is set for the air conditioner, and the power is turned off and a viewing reservation is possible for the television.
  • FIG. 36 corresponds to an example in which a control menu for each of the control target device candidates and the control target device candidates is displayed on the display screen 110A.
  • the user of the smartphone instructs the execution of the process corresponding to the button by tapping (touch input) the button displayed on the display screen 110A.
  • the SD 107 corresponds to the process of performing the UI display in S111 of FIG.
  • the subsequent process will be described on the assumption that the power-off button of the television is tapped.
  • the smart phone remote control application transmits a control signal indicating the execution instruction of the processing to the server 4A (SD108) and displays a display waiting for confirmation (SD109).
  • the control signal is a control signal indicating that the TV power-off process is executed.
  • the smart phone remote control application transmits a process request for requesting the TV power-off process to the server 4A. . Then, for example, as shown in FIG. 37A, the remote control application displays a dialog waiting for confirmation by a nearby person, and informs the user of the smartphone that it is waiting for confirmation.
  • FIG. 37A is a diagram illustrating an example of a display screen of a smartphone in the example of the fourth embodiment.
  • FIG. 37A shows an example of a display screen on which the dialog is displayed.
  • FIG. 37B is a diagram showing an example of the display screen of the smart phone in the example of the fourth embodiment, and shows a confirmation dialog displayed immediately before transmitting the processing request.
  • the person name is also displayed in the dialog because the person in the room where the television is installed is found from the “neighboring person information” in the operable device list information shown in FIG.
  • the user can make a determination not to make an extra processing request.
  • FIG. 37A is a diagram illustrating an example of a display screen of the smartphone in the example of the fourth embodiment.
  • the server 4A transmits a confirmation request (SD110, SD110). Specifically, the server 4A has received the TV power-off process request, but it is necessary to confirm whether or not the process can be performed by a nearby person. On the other hand, a confirmation request including a display for notifying the user of confirmation of processing availability is transmitted. This confirmation request is transmitted to the television of the control target device via the HGW 34A.
  • the TV that has received the confirmation request displays a confirmation screen (SD112).
  • the television 301 that has received the confirmation request executes, for example, the processing requested by the processing request for a person nearby in the form of overlaying on the screen 301a being viewed as shown in FIG.
  • a confirmation message 301b indicating whether or not it is acceptable is displayed.
  • FIG. 38 is an example of a television screen on which a confirmation message is displayed in the example of the fourth embodiment.
  • the confirmation request is transmitted to the television 301, but the present invention is not limited to this case.
  • a confirmation request is transmitted to a smartphone owned by the nearby person It is good.
  • a device other than the control target device that has the ability to make a confirmation request to a nearby person in the room, use it to confirm the nearby person. It doesn't matter.
  • the television that is the device to be controlled transmits a confirmation response to the server 4A (SD113, SD114).
  • a person in the vicinity of the television looks at the confirmation display on the television and performs a confirmation operation ("Good” or "No") by operating the television remote control or smartphone. To select either).
  • the description is continued for the case where “OK” is selected.
  • the television transmits a confirmation response indicating that the result of the confirmation request is OK to the server 4A via the HGW 34A.
  • the server 4A that has received the result of the confirmation request transmits information indicating that the confirmation is OK to the smart phone that first transmitted the processing request as a confirmation result notification (SD115).
  • a processing request is transmitted to a certain television so as to actually turn off the power via the HGW 34A (SD116, SD117).
  • the smart phone displays a confirmation result (SD118). Specifically, the smart phone receives the processing request result, and displays the confirmation result for the user on a display screen as shown in FIGS. 39A and 39B, for example, according to the reception result.
  • FIG. 39A and FIG. 39B are examples of the display screen of the smart phone on which the confirmation result in the example of Embodiment 4 is displayed.
  • FIG. 39A shows a case where an example of a dialog (confirmation result) when an OK result is received in response to a confirmation request is displayed
  • FIG. 39B shows that an NG result is received in response to the confirmation request.
  • a case where an example of a dialog (confirmation result) is displayed is shown.
  • the television receives the processing request from the server 4A, and executes processing by performing viewing reservation or power-off processing (SD119).
  • each control target device can be executed from outside the house.
  • the person in the room can be confirmed by making the control target device emit a confirmation sound or a confirmation display.
  • the control can be executed after confirming the above.
  • FIG. 40 is an example of a device database stored in the server in order to determine whether or not confirmation processing is possible.
  • “A” in the table indicates that remote control is possible without performing confirmation processing
  • “B” indicates that confirmation is required for the person when there is a person near the device.
  • “C” indicates that even if there is no person in the vicinity of the device, it is necessary to perform a confirmation process when there is a person in the house, and when there is no person in the house, the operation cannot be performed.
  • the criteria for determining “A”, “B”, and “C” are determined in advance by the device manufacturer according to the processing characteristics of each device. Specifically, regarding air conditioners, there is a concern that a worst fire may occur if there are no people in the house, so be sure to check with the person in the house during remote operation. Set to In addition, power off and change of operation are set to perform processing after confirming with a person in the same room because remote control without confirmation may cause a person in the same room to become uncomfortable. The On the other hand, since it is considered that the timer setting or the like is unlikely to affect a person in the same room at that timing, it can be set to be operable without confirmation.
  • the necessity of the confirmation process is divided according to the reason that it leads to a fire.
  • a confirmation operation may be performed on the affected person.
  • the server stores data related to a schedule such as the eldest daughter's television viewing reservation, and when the remote request is made to request a viewing reservation for batting, the server sends a request to the eldest daughter's smartphone.
  • a confirmation request may be made. This makes it possible to prevent an operation such as unexpectedly overwriting a reservation set by another person in the same house.
  • the control target devices other than the air conditioner / TV are, for example, a recorder, a water heater, a fan, a refrigerator, a microwave oven, a washing machine, etc.
  • Other household electrical appliances may be used, or a house key such as an entrance key or an electric window may be used.
  • the confirmation screen does not need to be displayed in the same mode when processing is requested, and the display mode and display content may be changed depending on the risk of remote operation.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the present invention can be used for a control method in a remote control system, and in particular, can also be used for a control method for a portable information terminal equipped with an integrated remote control UI for home appliances or a remote control function.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

 本開示のリモートコントロールシステムにおける制御方法は、情報端末の表示部におけるユーザインタフェース領域に、複数の機器のうち制御対象となる制御対象機器の候補を表示させるステップ(S2)と、ネットワークを介して、情報端末の表示部におけるユーザインタフェース領域の表示態様を決定するための複数の制御指標を取得するステップと、選択された制御対象機器と取得した複数の制御指標とに基づいて決定した表示態様で、情報端末の表示部におけるユーザインタフェース領域に1以上の制御メニュを表示させるステップ(S3)と、表示された1以上の制御メニュのうち第1制御メニュが選択された場合、第1制御メニュに対応する制御を制御対象機器に実行させるための制御信号を生成するステップ(S6)と、ネットワークを介して制御信号を前記制御対象機器に送信するステップ(S7)とを含む。

Description

制御方法
 本発明は、リモートコントロールシステムにおける制御方法に関する。
 近年、家庭内においてもネットワーク環境が整備されてきたことに伴い、パソコンなどの情報機器だけでなく、テレビ、ビデオレコーダ、エアコンおよび冷蔵庫等の家電機器もネットワークに接続されつつある。それによって、ネットワークを介して、家電機器を制御することが可能となるなどユーザに様々な利便性をもたらしつつある。
 例えば、特許文献1には、家電機器を含む機器を快適に制御できる統合コントローラに関する技術が開示されている。
特開2003-111157号公報
 しかしながら、特許文献1に開示されるような従来技術では、例えば家電機器が火気を扱うものである場合でも家の外からその家電機器の制御が行えるなどの問題がある。
 本発明は、上述の事情を鑑みてなされたもので、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる制御方法を提供することを目的とする。
 上記目的を達成するために、本発明の一態様に係る制御方法は、複数の機器と、ネットワークを介して前記複数の機器のうち少なくとも一の機器である制御対象機器の制御を行う情報端末とを備えるリモートコントロールシステムにおける制御方法であって、前記情報端末の表示部におけるユーザインタフェース領域に、前記複数の機器のうち制御対象となる制御対象機器の候補またはユーザの所望の行動を示す行動種別の候補であって前記制御対象機器への操作に紐付けられた行動種別の候補を表示させるステップと、前記ネットワークを介して、前記情報端末の表示部におけるユーザインタフェース領域の表示態様を決定するための複数の制御指標を取得するステップと、選択された行動種別または制御対象機器と前記取得した複数の制御指標とに基づいて決定した表示態様で、前記情報端末の表示部におけるユーザインタフェース領域に1以上の制御メニュを表示させるステップと、前記情報端末の表示部におけるユーザインタフェース領域に表示された前記1以上の制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成するステップと、前記ネットワークを介して前記制御信号を前記制御対象機器に送信するステップとを含む。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
図1は、実施の形態1におけるリモートコントロールシステムの全体構成の一例を示す図である。 図2は、実施の形態1における情報端末の構成の一例を示すブロック図である。 図3は、実施の形態1におけるサーバの構成の一例を示す図である。 図4は、実施の形態1に係るリモートコントロールシステムの制御方法を示すフローチャートである。 図5は、実施の形態1の実施例におけるリモートコントロールシステムの処理の一例を示すタイミングチャートである。 図6は、実施の形態1の実施例におけるスマートホンの表示画面のGUIの一例を示す図である。 図7は、実施の形態1の実施例におけるリモコンアプリによりサーバに送信された情報の内容を示すテーブルである。 図8は、実施の形態1の実施例におけるサーバのDBに登録されているユーザ情報テーブルの一例を示す図である。 図9は、実施の形態1の実施例におけるサーバのDBに登録されている機器情報テーブルの一例を示す図である。 図10Aは、実施の形態1の実施例におけるスマートホン表示画面の一例を示す図である。 図10Bは、実施の形態1の実施例におけるスマートホン表示画面の一例を示す図である。 図11は、実施の形態2における情報端末の構成の一例を示すブロック図である。 図12は、実施の形態2におけるリモートコントロールシステムのS2の詳細処理を示すフローチャートである。 図13は、実施の形態2の実施例におけるリモートコントロールシステムの処理の一例を示すフローチャートである。 図14は、実施の形態2の実施例における行動一覧テーブルの一例を示す図である。 図15は、実施の形態2の実施例における情報端末の操作者(ユーザ)に警告を発すべき条件である警告条件を示す図である。 図16Aは、実施の形態2の実施例における警告表示を伴う表示画面の一例を示す図である。 図16Bは、実施の形態2の実施例における警告表示を伴う表示画面の一例を示す図である。 図17は、実施の形態2の実施例における警告表示を伴う表示画面一例を示す図である。 図18は、実施の形態の実施例2における警告表示を伴う表示画面一例を示す図である。 図19は、実施の形態2の実施例における警告表示を伴う表示画面一例を示す図である。 図20Aは、実施の形態2の実施例における警告表示を伴う表示画面一例を示す図である。 図20Bは、実施の形態2の実施例における警告表示を伴う表示画面一例を示す図である。 図21は、実施の形態3における情報端末の構成の一例を示すブロック図である。 図22は、実施の形態3における事前ダイアログテーブルの一例を示す図である。 図23は、実施の形態3におけるリモートコントロールシステムのダイアログ処理を示すフローチャートである。 図24Aは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図24Bは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図25Aは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図25Bは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図25Cは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図26Aは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図26Bは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図27Aは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図27Bは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図28Aは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図28Bは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。 図29は、実施の形態4におけるリモートコントロールシステムの全体構成を示す図である。 図30は、実施の形態4における情報端末の構成の一例を示すブロック図である。 図31は、実施の形態4におけるサーバの構成の一例を示すブロック図である。 図32は、実施の形態4の実施例におけるリモートコントロールシステムの処理の一例を示すタイミングチャートである。 図33Aは、実施の形態4におけるSD102において送られる情報の一例を示す図である。 図33Bは、実施の形態4の実施例におけるサーバに登録されたユーザ情報テーブルの一例を示す図である。 図34Aは、実施の形態4の実施例におけるサーバに登録された宅内機器テーブルの一例を示す図である。 図34Bは、実施の形態4の実施例におけるサーバに登録されたセンサ情報テーブルの一例を示す図である。 図35は、実施の形態4の実施例におけるSD106でサーバからスマートホンに返信される操作可能一覧情報の一例を示す図である。 図36は、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。 図37Aは、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。 図37Bは、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。 図37Cは、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。 図38は、実施の形態4の実施例における確認メッセージが表示されたテレビの画面の一例である。 図39Aは、実施の形態4の実施例における確認結果が表示されたスマートホンの表示画面の一例である。 図39Bは、実施の形態4の実施例における確認結果が表示されたスマートホンの表示画面の一例である。 図40は、実施の形態4における確認処理の可否を決定するためにサーバに格納される機器データベースの一例である。
 (発明の基礎となった知見)
 特許文献1に開示されるような従来技術では、例えば家電機器が火気を扱うものである場合でも家の外からその家電機器の制御が行えるなどの問題がある。
 より具体的には、複数の家電機器のうち制御対象となる家電機器である制御対象機器(以下、対象機器とも記載)は、「操作(制御)をする人(who)」、「操作(制御)する時間(when)」、「操作(制御)する場所(at where)」、「制御対象機器(what)」および「制御対象機器の置いてある場所(to where)」等の状況によって、提供可能な機能でも制御可能な項目(制御メニュ)は異なる。また、操作性、安全性、プライバシー、コスト(電気代など)、騒音・振動(周りへの迷惑)などの観点から、状況によっては、制御対象機器の特定の制御を抑制する必要も生じると考えられる。例えば家の外では家の中の火気を扱う家電機器(制御対象機器)の制御はできないように制御を抑制するなどが考えられる。
 本発明は、上述の事情を鑑みてなされたもので、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる制御方法を提供することを目的とする。
 上記目的を達成するために、本発明の一態様に係る制御方法は、複数の機器と、ネットワークを介して前記複数の機器のうち少なくとも一の機器である制御対象機器の制御を行う情報端末とを備えるリモートコントロールシステムにおける制御方法であって、前記情報端末の表示部におけるユーザインタフェース領域に、前記複数の機器のうち制御対象となる制御対象機器の候補またはユーザの所望の行動を示す行動種別の候補であって前記制御対象機器への操作に紐付けられた行動種別の候補を表示させるステップと、前記ネットワークを介して、前記情報端末の表示部におけるユーザインタフェース領域の表示態様を決定するための複数の制御指標を取得するステップと、選択された行動種別または制御対象機器と前記取得した複数の制御指標とに基づいて決定した表示態様で、前記情報端末の表示部におけるユーザインタフェース領域に1以上の制御メニュを表示させるステップと、前記情報端末の表示部におけるユーザインタフェース領域に表示された前記1以上の制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成するステップと、前記ネットワークを介して前記制御信号を前記制御対象機器に送信するステップとを含む。
 これにより、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる。
 ここで、例えば、前記制御指標は、前記情報端末の操作者の属性、前記情報端末を操作する時間、前記情報端末が存在する場所、前記制御対象機器が存在する場所、前記制御対象機器の属性、前記制御対象機器の状態、前記制御対象機器の制御対象機能の属性のうちの任意の組み合わせを含む。
 また、例えば、前記制御指標は、前記情報端末の操作者の現在位置を含み、前記制御メニュを表示させるステップでは、前記制御対象機器が火気を取り扱う機器である場合、前記現在位置が前記制御対象機器の存在する家の外であるときと前記現在位置が前記家の内であるときとでは異なる表示態様に決定するとしてもよい。
 また、例えば、前記制御指標は、前記情報端末の操作者の属性と前記制御対象機器の状態とを含み、前記制御メニュを表示させるステップでは、前記制御対象機器が火気を取り扱う機器であり、かつ、前記情報端末の操作者が子供である場合、前記情報端末の表示部におけるユーザインタフェース領域に制御メニュとして前記情報端末の操作者が大人である場合と比較して所定の制御が制限された制御メニュを表示させるとしてもよい。
 また、例えば、前記所定の制御は前記制御対象機器のオン制御であり、前記制御メニュを表示させるステップでは、前記情報端末の表示部におけるユーザインタフェース領域に前記制御メニュとして、前記制御対象機器のオフ制御のみを表示させ、前記制御対象機器のオン制御を表示させないとしてもよい。
 また、例えば、前記制御指標は、前記情報端末の操作者の属性と、前記情報端末の操作者の現在位置とを含み、前記制御メニュを表示させるステップでは、前記制御対象機器が火気を取り扱う機器であり、かつ、前記情報端末の操作者が子供である場合、前記現在位置が前記制御対象機器の存在する家の内であるときには、前記情報端末の表示部におけるユーザインタフェース領域に制御メニュとして前記情報端末の操作者が大人である場合と同じ制御メニュを表示させるとしてもよい。
 また、例えば、前記制御指標は、前記情報端末の操作者の属性と、前記情報端末の操作者の現在位置と、前記情報端末とは異なる他の情報端末の操作者の属性と、前記他の情報端末の操作者の現在位置とを含み、前記制御メニュを表示させるステップでは、前記制御対象機器が火気を取り扱う機器であり、かつ、前記情報端末の操作者が子供である場合、前記情報端末の操作者の現在位置の近傍に、前記他の情報端末の操作者が存在し、かつ、前記他の情報端末の操作者が大人であるときには、前記情報端末の表示部におけるユーザインタフェース領域に制御メニュとして前記情報端末の操作者が大人である場合と同じ制御メニュを表示させるとしてもよい。
 また、例えば、前記表示させるステップでは、前記行動種別の候補を表示させる場合、さらに、前記情報端末の操作者が行動種別の候補の一を選択したときに、前記行動種別の候補の一に紐付けられた制御対象機器への操作が前記情報端末の操作者に警告を発すべき条件である警告条件を満たすか否かを確認するステップを含み、前記制御メニュを表示させるステップでは、前記確認するステップにおいて前記行動種別の候補の一に紐付けられた制御対象機器への操作が前記警告条件を満たすことを確認された場合、前記情報端末の表示部におけるユーザインタフェース領域に前記警告を示す警告表示を制御メニュと共にまたは制御メニュに重畳して表示するとしてもよい。
 ここで、例えば、前記確認するステップでは、前記情報端末の操作者が行動種別の候補の一を選択したときに、前記行動種別の候補の一に紐付けられた制御対象機器への操作が前記情報端末の操作者と異なる者のプライバシーを侵害するという前記警告条件を満たすか否かを確認するとしてもよい。
 また、例えば、前記確認するステップでは、前記情報端末の操作者が行動種別の候補の一を選択したときに、前記行動種別の候補の一に紐付けられた制御対象機器への操作が非可逆操作であるという前記警告条件を満たすか否かを確認するとしてもよい。
 また、例えば、前記確認するステップでは、前記行動種別の候補の一に紐付けられた制御対象機器がビデオレコーダであり、前記行動種別の候補の一に紐付けられた制御対象機器への操作が録画されたコンテンツの削除である場合に、制御対象機器への操作が非可逆操作であり前記警告条件を満たすと確認するとしてもよい。
 また、例えば、さらに、前記情報端末に表示された前記制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるか否かについて前記情報端末の操作者に確認を促すダイアログ(対話)を表示させるステップを含み、前記制御信号を生成するステップでは、前記ダイアログを表示するステップにおいて前記情報端末の操作者により前記第1制御メニュに対応する制御を前記制御対象機器に実行させることが確認された場合に、前記制御信号を生成させるとしてもよい。
 また、例えば、さらに、前記情報端末に表示された前記制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御に関連する制御情報の確認を前記情報端末の操作者に促すダイアログ(対話)を表示させるステップを含み、前記制御信号を生成するステップでは、前記ダイアログを表示するステップにおいて前記情報端末の操作者により前記関連する制御情報が確認された場合に、前記制御信号を生成させるとしてもよい。
 また、例えば、さらに、前記情報端末に表示された前記制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御により影響を受ける人物に前記制御を行う旨の確認を行う旨のメッセージを表示させるステップを含み、前記制御信号を生成するステップでは、前記メッセージを表示させるステップにおいて前記人物により確認が行われた後に、前記制御信号を生成するとしてもよい。
 また、例えば、前記人物は、前記第1制御メニュに対応する制御により操作される制御対象機器を使用している人であるとしてもよい。
 また、例えば、前記制御対象機器を使用している人は、前記制御対象機器の近傍の人または前記制御対象機器に対して先に制御を行った人であり、前記第1制御メニュに対応する制御は、前記制御対象機器の状態を変更する制御または前記制御対象機器が前記人物のプライバシーに関する情報を取得する制御であるとしてもよい。
 また、例えば、前記メッセージを表示させるステップでは、前記制御対象機器とは異なる機器である表示装置に前記メッセージを表示させるとしてもよい。
 また、例えば、前記制御信号を生成するステップでは、前記メッセージを表示させるステップで前記人物が前記第1制御メニュに対応する制御の実行を許可しない旨の応答を確認した場合には、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成しないとしてもよい。
 また、例えば、前記制御信号を生成するステップでは、前記メッセージを表示させるステップで前記人物により所定時間応答がないことを確認した場合には、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成するとしてもよい。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、図面を参照しながら、本発明の一態様に係るリモートコントロールシステムにおける制御方法について説明する。
 なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 1.1 リモートコントロールシステムの全体構成
 以下、実施の形態1に係るリモートコントロールシステム100について図面を参照しながら説明する。
 図1は、実施の形態1におけるリモートコントロールシステムの全体構成の一例を示す図である。
 図1に示すリモートコントロールシステム100は、複数の機器と、ネットワーク5を介して複数の機器のうち少なくとも一の機器である制御対象機器の制御を行う情報端末とを備える。本実施の形態では、リモートコントロールシステム100は、情報端末1、情報端末2、宅内3の制御対象機器、および、サーバ4から構成され、ネットワーク5で接続されている。
 ここで、情報端末1および情報端末2は、例えばスマートホン、タブレットなど、タッチパネル機能を有する表示部を有する携帯可能な機器である。なお、情報端末1および情報端末2は、これらの例に限られず、タッチパネル機能を有する表示部を有し、宅内3の制御対象機器およびサーバ4とネットワーク5で接続することができれば、その種別は問わない。本実施の形態では、情報端末1および情報端末2はスマートホンであるとして以下説明する。
 図1に示す宅内3には、光回線終端装置31、ルータ32、WLAN AP33、ホームゲートウェイ(以下、HGW34と記載)、HEMS(home energy management system)35、ホームコントローラ36および制御対象機器(以下制御対象機器300と記載)などの複数の機器が設置されている。
 情報端末1、2およびホームコントローラ36は制御対象機器に対して処理要求を行うリモートコントローラとしての機能を有する。
 制御対象機器300は、例えばテレビ301、BD(Blue-ray Disc)レコーダ302、ドアホン303、コタツなどの暖房器具304、IH(Induction Heating )クッキングヒータ305、照明306、エアコン307または給湯器308等である。制御対象機器300はHGW3を介して、サーバ4とネットワーク接続が可能である。また、制御対象機器300は、HGW3から通知された処理要求に応じて、所定の処理を実行し、処理結果をHGW3に通知する。
 HGW34は、サーバ4からの処理要求を宅内3の制御対象機器300に通知するとともに、制御対象機器300から取得した情報や処理結果をサーバ4に対して通知する機能を有する。
 ネットワーク5は、ローカルエリアネットワークまたはインターネットのようなワイドエリアネットワークであってもよい。本実施の形態では、ネットワーク5は、インターネットとして説明する。
 サーバ4は、情報端末1等から処理要求を受け付け、当該処理要求を実行する。また、サーバ4は、処理要求を実行するために必要な情報をHGW34に問い合わせる処理を行う、もしくは、HGW34を介して制御対象機器に対して処理要求を通知する。
 1.2 情報端末の構成
 図2は、実施の形態1における情報端末の構成の一例を示すブロック図である。
 情報端末1は、制御対象機器300に対して処理要求を行うリモートコントローラとしての機能を有する。情報端末1(以下スマートホンとも記載)は、機器IDを有し、GPS(Global Positioning System)による現在位置が測定可能で、位置情報をサーバ4に送信する機能を有する。また、情報端末1は、制御対象機器300に対する処理要求を行う場合には、制御内容とともに、機器ID、現在位置情報も通知する。それにより、ユーザ(情報端末1の操作者)は、例えば、情報端末1に対して操作を行うことにより、録画予約の設定し忘れやコタツの消し忘れなどに対して、宅外でも録画予約やコタツ電源OFFなどの操作、すなわち宅外から制御対象機器300に対する操作(制御)をすることができる。
 以下、より詳細に説明する。情報端末1は、図2に示すように、表示部11と、取得部12と、生成部13と、通信部14と、制御部15とを備える。
 表示部11は、タッチディスプレイなどであり、少なくともタッチ入力が可能なユーザインタフェース領域を有する。表示部11は、制御部15により制御される。すなわち、表示部11は、ユーザインタフェース領域を含む表示画面に、制御部15により決定された表示態様で、行動種別の候補もしくは制御対象機器300の候補、または制御メニュなど表示する。
 取得部12は、ネットワーク5を介して、情報端末1の表示部11におけるユーザインタフェース領域(表示画面)の表示態様を決定するための複数の制御指標を取得する。
 ここで、制御指標は、情報端末1の操作者の属性、情報端末1を操作する時間、情報端末1が存在する場所、制御対象機器300が存在する場所、制御対象機器300の属性、制御対象機器300の状態、制御対象機器300の機能属性などであり、これらのうちの任意の組み合わせを含む。なお、具体例については後述するため、ここでの詳細な説明は省略する。
 制御部15は、情報端末1の表示部11におけるユーザインタフェース領域に、複数の機器のうち制御対象となる制御対象機器300の候補またはユーザの所望の行動を示す行動種別の候補であって制御対象機器300への操作に紐付けられた行動種別の候補を表示させる。また、制御部15は、選択された行動種別または制御対象機器300と取得した複数の制御指標とに基づいて決定した表示態様で、情報端末1の表示部11におけるユーザインタフェース領域に1以上の制御メニュを表示させる。
 ここで、例えば、制御指標に情報端末1の操作者の現在位置が含まれ、制御対象機器300が火気を取り扱う機器である場合、制御部15は、現在位置が制御対象機器300の存在する家の外であるときと現在位置が家の内であるときとでは異なる表示態様に決定するとしてもよい。
 また、例えば、制御指標に情報端末1の操作者の属性と制御対象機器300の状態とが含まれている場合で、制御対象機器300が火気を取り扱う機器であり、かつ、情報端末1の操作者が子供であるとき、制御部15は、情報端末1の表示部11におけるユーザインタフェース領域に制御メニュとして情報端末1の操作者が大人である場合と比較して所定の制御が制限された制御メニュを表示させるとしてもよい。
 ここで、所定の制御とは制御対象機器300のオン制御である。この場合、制御部15は、情報端末1の表示部11におけるユーザインタフェース領域に制御メニュとして、制御対象機器300のオフ制御のみを表示させ、制御対象機器300のオン制御を表示させないとすればよい。
 さらに、例えば、制御指標に情報端末1の操作者の属性と、情報端末1の操作者の現在位置とが含まれており、制御対象機器300が火気を取り扱う機器であり、かつ、情報端末1の操作者が子供である場合、制御部15は、現在位置が制御対象機器300の存在する家の内(宅内3)であるときには、情報端末1の表示部11におけるユーザインタフェース領域に制御メニュとして情報端末1の操作者が大人である場合と同じ制御メニュを表示させるとしてもよい。
 また、例えば、制御指標に情報端末1の操作者の属性と、情報端末1の操作者の現在位置と、情報端末1とは異なる他の情報端末2の操作者の属性と、他の情報端末2の操作者の現在位置とが含まれており、制御対象機器300が火気を取り扱う機器であり、かつ、情報端末1の操作者が子供である場合、制御部15は、情報端末1の操作者の現在位置の近傍に、他の情報端末2の操作者が存在し、かつ、他の情報端末2の操作者が大人であるときには、情報端末1の表示部11におけるユーザインタフェース領域に制御メニュとして情報端末1の操作者が大人である場合と同じ制御メニュを表示させるとしてもよい。
 生成部13は、情報端末1の表示部11におけるユーザインタフェース領域に表示された1以上の制御メニュのうち第1制御メニュが選択された場合、第1制御メニュに対応する制御を制御対象機器300に実行させるための制御信号を生成する。
 通信部14は、ネットワーク5を介して生成部13で生成された制御信号を制御対象機器300に送信する。
 1.3 サーバの構成
 図3は、実施の形態1におけるサーバの構成の一例を示すブロック図である。
 サーバ4は、データベース(DB41)と、特定部42と、送信部43と、判定部44と、更新部45と、生成部46とを備える。
 サーバ4は、例えば情報端末1から処理要求を受け付け、当該処理要求を実行する。また、サーバ4は、処理要求を実行するために必要な情報をHGW3に問い合わせる処理を行う。サーバ4は、HGW3を介して制御対象機器300に対して処理要求を通知する。
 サーバ4は、データベース(DB41)と、特定部42と、送信部43と、判定部44と、更新部45と、生成部46とを備える。
 DB41には、各制御対象機器の種別や機器ID、その機器が有する機能、および、その機器を所有する所有者(個人・共用)に関する情報などが登録されている。制御対象機器はそれぞれ、機能(提供可能な機能)が異なるため、登録されている情報はそれぞれ異なる。例えば、コタツの機能には、電源のオン、電源オフなどがあり、BDレコーダの機能には、電源のオン、電源オフ、再生、早送り、録画、予約などがある。また、例えば、給湯器の機能には、電源のオン、オフ、給湯温度の変更、風呂への給湯開始などがあり、エアコンの機能には電源のオン、オフ、運転モードの変更、目標室温の変更などがある。また、テレビの機能には、電源のオン、オフ、チャンネルの変更、音量の変更、タイマーによる視聴予約などがある。
 特定部42は、機器IDに基づいて処理要求を発行した情報端末1(スマートホン)の所有者(操作者)を特定する。
 判定部44は、操作者の現在位置情報と予め登録されている操作者の自宅位置情報とに基づいて、処理要求を発行した情報端末1(スマートホン)が、宅内3に存在するのか、宅外に存在するのかを判定する。
 送信部43は、特定した所有者(操作者)の属性、情報端末1(スマートホン)の現在位置、制御対象機器の属性、機能などに応じたインタフェースを送信することで、情報端末1の制御部15に状況に応じたインタフェースを提供することができる。
 1.4 リモートコントロールシステムの動作
 次に、以上のように構成されたリモートコントロールシステム100の動作について説明する。
 図4は、実施の形態1に係るリモートコントロールシステムの制御方法を示すフローチャートである。
 まず、ユーザは、情報端末1のリモコン機能を起動する(S1)。ここで、例えば、情報端末1(スマートホン)では、リモートコントローラとしての機能(リモコン機能)が情報端末1にインストールされたアプリケーション(リモコンアプリ)によって提供されるとしている。
 次に、リモートコントロールシステム100は、情報端末1の表示部11におけるユーザインタフェース領域(表示画面)に、複数の機器のうち制御対象となる制御対象機器300の候補またはユーザの所望の行動を示す行動種別の候補であって制御対象機器300への操作に紐付けられた行動種別の候補を表示させる(S2)。そして、リモートコントロールシステム100は、ネットワーク5を介して、情報端末1の表示部11におけるユーザインタフェース領域の表示態様を決定するための複数の制御指標を取得する。
 本実施の形態では、リモートコントロールシステム100は、情報端末1の表示部11におけるユーザインタフェース領域に、複数の機器のうち制御対象となる制御対象機器300の候補を表示させる。
 次に、情報端末1の操作者のタッチ入力などにより、行動種別または制御対象機器300が選択されたか否かを確認する(S3)。
 行動種別または制御対象機器300が選択された場合(S3でY)、リモートコントロールシステム100は、制御指標に基づく制御メニュを表示する(S4)。より具体的には、行動種別または制御対象機器300が選択された場合(S3でY)、リモートコントロールシステム100は、選択された行動種別または制御対象機器300と取得した複数の制御指標とに基づいて表示態様を決定し、決定した表示態様で情報端末1の表示部11におけるユーザインタフェース領域に1以上の制御メニュを表示させる。なお、S3において、行動種別または制御対象機器300が選択されたことが確認できなった場合(S3でN)には、再度S3に戻り処理を実行する。
 次に、情報端末1の操作者のタッチ入力などにより、制御メニュの一つが選択されたか否かを確認する(S5)。より具体的には、リモートコントロールシステム100は、情報端末1の操作者のタッチ入力などにより、情報端末1の表示部11におけるユーザインタフェース領域に表示された1以上の制御メニュのうち一(第1制御メニュ)が選択されたか否かを確認する。
 次に、制御メニュの一つが選択された場合(S5でY)、リモートコントロールシステム100は、制御信号を生成する(S6)。具体的には、制御メニュの一つ(第1制御メニュ)が選択された場合(S5でY)、情報端末1の生成部13は、選択された第1制御メニュに対応する制御を制御対象機器300に実行させるための制御信号を生成する。ここで、制御信号は、上記処理要求に対応する。なお、S5において、制御メニュの一つが選択されたことが確認できなった場合(S5でN)には、再度S5に戻り処理を実行する。
 次に、リモートコントロールシステム100は、ネットワーク5を介して制御信号を制御対象機器に送信する(S7)。より具体的には、情報端末1の通信部14は、生成部13で生成された制御信号(処理要求)をサーバ4に送信する。サーバ4は、受信した制御信号(処理要求)を、HGW34を介して、制御対象機器300に送信する。
 1.5 実施例
 次に、以上のように動作するリモートコントロールシステム100の制御対象機器に対するリモコン制御の一例を実施例として図5に示すタイミングチャートを用いて説明する。
 図5は、実施の形態1の実施例におけるリモートコントロールシステムの処理の一例を示すタイミングチャートである。
 ここで、スマートホン(情報端末1)におけるリモートコントローラとしての機能は、上述同様に、スマートホンにインストールされたリモコンアプリによって提供されるとして説明する。
 まず、スマートホン(情報端末1)の操作者(以下、ユーザと記載)は、リモコンアプリを起動する(S101)。
 すると、リモコンアプリは、図6に示す表示画面110に、リモコンアプリのGUI(Graphical User Interface)を表示する(S102)。
 図6は、実施の形態1の実施例におけるスマートホンの表示画面の一例を示す図である。図6に示す表示画面110は、表示部11のインタフェース領域に対応し、ユーザによるタッチ入力が可能な領域である。図6に示す例では、制御対象機器の候補として、コタツとBDレコーダとがアイコン(アイコン52、アイコン53)で表示されている。コタツに対して制御を行う場合、ユーザは、コタツのアイコン52をタップ(タッチ入力)することで、制御対象機器としてコタツを選択することができる。
 次に、制御対象機器としてコタツが選択されると、リモコンアプリは、例えば図7に示すような情報すなわちスマートホン(情報端末1)のID、スマートホンの位置情報(GPSによる測位情報)、コタツの機器IDなどの情報を含めてコタツに対する処理要求をサーバ4へ送信する(S103)。図7に示すスマートホンIDと制御対象機器IDとの情報は予めサーバ4とリモコンアプリとの間で共有されているものとする。ここで、図7は、実施の形態1の実施例におけるリモコンアプリによりサーバに送信される情報の内容を示すテーブルである。
 なお、スマートホンの位置情報としては、GPSの測位情報に加えてGPSによる高度情報などを含めてもよい。位置情報のGPSによる測位は、定期的に行ってもよいし、リモコンアプリの起動時、またはサーバ4への送信時などに行うように構成してもよい。位置情報の測位は、GPSによる方法に限らない。例えば、スマートホンの基地局の位置情報を利用したり、スマートホンが備える加速度センサを利用した移動履歴から現在位置を推定したりするとしてもよい。また、スマートホンを利用して自宅玄関錠を施錠した場合に、宅外に出たと判定するなどしてもよい。つまり、位置情報の推定(測位)には、様々な方法あり、いずれを採用してもよい。
 次に、サーバ4は、特定処理を実行する(S104)。より具体的には、サーバ4の特定部42は、スマートホンのリモコンアプリから通知(送信)されたスマートホンIDと、図8とを用いてユーザの属性を特定する処理を実行する。ここで、図8は、実施の形態1の実施例におけるサーバのDBに登録されているユーザ情報テーブルの一例を示す図である。すなわち、サーバ4の特定部42は、リモコンアプリ(情報端末1)から通知されたスマートホンIDが「1」の場合、図8を用いて、スマートホンの所有者が「お父さん」であり、「大人」であると特定することができる。
 次に、サーバ4は、判定処理を実行する(S105)。より具体的には、サーバ4の判定部44は、スマートホンのリモコンアプリから通知されたスマートホンの現在位置情報と、予め登録された自宅位置情報とに基づいて、処理要求を発行したスマートホンが、宅内3にあるのか、宅外にあるのかを判定する。
 ここで、例えば、サーバ4の判定部44は、現在位置情報と自宅位置情報の差分が±10m以内の場合に、スマートホンは宅内3に位置(存在)すると判定し、それ以外は宅外に位置(存在)すると判定する。また、サーバ4の判定部44は、そのスマートホンが宅内無線LANに接続しているときには、測位情報にかかわらず宅内3に位置すると判定するとしてもよい。
 なお、サーバ4の判定部44は、測位情報が得られない場合または測位情報が得られても測位精度が低い場合には、そのスマートホンは宅外に位置すると判定してもよい。これは、安全性等の観点から宅内3から操作可能な機能でも宅外からは操作できないように、宅外で操作可能な機能は制限されるとする場合には、誤って宅内3と判定するより、宅外と判定した方が安全性を高めることができるからである。
 なお、以下では、S105においてサーバ4の判定部44は、処理要求を発行したスマートホン(情報端末1)が、宅内3に存在(位置)すると判定したとして説明する。
 次に、サーバ4は、制御対象機器の現在の状態を更新する更新処理を実行する(S108)。より具体的には、サーバ4の更新部45は、そのスマートホンから通知された制御対象機器IDに基づいて、制御対象機器の状態変化をリアルタイムに検知しているHGW34とのやりとりを通じて(S106およびS107)、制御対象機器の現在の状態を取得し、例えば図9に示す機器情報テーブルの状態の項目(制御対象機器の現在の状態)を更新する更新処理を行う(S108)。本実施例では、S108において、図9に示すように、機器ID「1」のコタツの状態の項目は、「電源オン」である。
 ここで、図9は、実施の形態1の実施例におけるサーバのDBに登録されている機器情報テーブルの一例を示す図である。サーバのDB41には、例えば図9に示すような制御対象機器に関する情報が機器情報テーブルとして登録されている。図9に示す機器情報テーブルには機器ID、機器種別、所有者および操作可能な機能が、予め登録されている。
 サーバ4は、HGW34とのやり取りを通じて制御対象機器の状態をリアルタイムに取得することができるので、制御対象機器の現在の状態をDB41に登録されている機器情報テーブルの状態の項目に反映することができる。
 なお、サーバ4は、制御対象機器の状態を、スマートホンからの処理要求があるたびに、HGW34を介して制御対象機器に問い合わせるとしてもよい。
 また、サーバ4は、複数の制御指標としてスマートホンの位置、処理要求の内容、制御対象機器の状態などをDB41にログとして保存する。そして、サーバ4は、これらの複数の制御指標を分析することで、制御対象機器の制御メニュやユーザインタフェースの表示態様の決定に利用するとしてもよい。
 次に、サーバ4は、複数の制御指標に基づいて、表示情報を生成する(S109)。より具体的には、サーバ4の生成部46は、ユーザの属性、スマートホンの位置、コタツの現在の状態などの複数の制御指標と、図9に示す機器情報テーブルとを用いて、制御メニュとしてONボタンおよびOFFボタンを表示するか非表示とするかを判定する。サーバ4は、その判定結果に基づいて、スマートホンの制御部15に提供するための表示部11での表示態様と表示内容を示す表示情報を生成する。
 本実施例では、サーバ4の生成部46は、スマートホンのユーザ(所有者)の属性が「大人」であり、スマートホンの現在位置が「宅内」であり、コタツの現在の状態が「電源オン」であることから、図9に示すように、制御メニュとしてのONボタンは「非表示」、OFFボタンは「表示」であると判定する。サーバ4の生成部46は、その判定結果に基づいて表示情報を生成する。なお、本実施例では、表示情報の生成をサーバ4で実行するとして説明したが、それに限らない。サーバ4は、判定結果をリモコンアプリに通知するとし、リモコンアプリが通知された判定結果に基づいて表示情報を生成するとしてもよい。
 次に、サーバ4(送信部43)は、生成した表示情報をリモコンアプリに通知(送信)する(S110)。
 次に、リモコンアプリは、通知(送信)された表示情報に基づいて、UI表示を行う処理を実行する(S111)。より具体的には、スマートホンのリモコンアプリ(制御部15)は、送信された表示情報に基づいて、表示部11のユーザインタフェース領域に表示する内容(表示内容)と表示態様を決定する。そして、リモコンアプリは、例えば図10Aまたは図10Bに示すように決定した表示内容および表示態様(表示画面110)で表示部11に表示させる。ここで、図10Aおよび図10Bは、実施の形態1の実施例におけるスマートホンの表示画面の一例を示す図である。
 本実施例では、リモコンアプリは、通知(送信)された表示情報に基づいて、例えば図10Aに示すように、表示部11に表示される表示画面110には、S109で非表示と判定されたONボタンを制御メニュとして表示せず、OFFボタン(電源オフボタン521)のみを制御メニュとして表示する。なお、リモコンアプリは、図10Bに示すように、非表示と判定されたONボタン(電源オンボタン522)をグレーアウト表示することで制御メニュとして選択できないことを示すとしてもよい。
 次に、スマートホンのユーザは、表示画面110(ユーザインタフェース領域)に表示されたボタンをタップ(タッチ入力)することで、当該ボタンに対応する処理の実行を指示する。すると、リモコンアプリは、当該処理の実行指示を示す制御信号をサーバ4に通知(送信)する(S112)。本実施例では、当該制御信号は、電源オフの処理を実行する旨を示す制御信号である。
 次に、サーバ4は、リモコンアプリから通知された制御信号を実行するように、HGW34を介して、制御対象機器に通知する(S113、S114)。本実施例では、制御対象機器がコタツであるので、サーバ4は、コタツに対して、制御信号に示された電源オフの処理(実行指示)を実行するように通知する。
 次に、制御信号を受け付けた制御対象機器は、当該処理を実行し(S115)、HGW34を介して、サーバ4に処理が完了した旨を通知する(S116、S117)。本実施例では、コタツは、制御信号を受け付けた後、電源オフの処理を実行し、HGW34を介してサーバ4にその処理の実行が完了したことを通知する。なお、制御対象機器は、制御信号を受け付けたとして説明したがそれに限らない。サーバにより制御信号に基づき、当該処理の実行を要求する信号のみを受け付けるとしてもよい。この場合、制御対象機器は、その信号に基づき、当該処理の実行を行えばよい。
 最後に、サーバ4は、HGW34を介して、制御対象機器より処理が完了した旨の通知を受けて、制御対象機器の現在の状態を更新する更新処理を行う(S118)。本実施例では、サーバ4の更新部45は、HGW34を介して、コタツより処理が完了した旨の通知を受けて、図9に示す機器状態テーブルの「状態」の項目を「電源オフ」に更新する更新処理を行う。
 1.6 効果
 以上のように、本実施の形態によれば、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる制御方法を実現することができる。
 具体的には、本実施の形態の制御方法によれば、安全性、プライバシー、コスト(電気代など)、騒音・振動(周りへの迷惑)などの観点から、例えば、火事の危険性のある機器に対するリモコン制御を抑制するなど、状況に応じて特定の制御を抑制することができる。それにより、単に機器操作の快適性だけに留まらない制御方法を実現することができる。
 (なお書き1)
 本実施の形態において、ユーザの属性が「大人」か「子供」かによって、情報端末1の制御部15は、表示部11に表示させる内容と表示態様とを変更する。その理由は、制御対象機器300としてコタツをリモコン制御する場合、下手をすれば、火事につながる危険性も否定できないからである。そのため、OFF状態のコタツを宅外から電源ONしたい場合、火事の危険性を判断できる大人に対しては、スマートホン(情報端末1)の表示部11(リモコン表示画面)に「ONボタン」を表示し、コタツの電源ONを可能とする。一方、危険性の判断が十分でない子供に対しては、スマートホン(情報端末1)のリモコン表示画面で「ONボタン」を非表示(又は非アクティブ表示)としてコタツの電源ONをできないようにする。それにより、火事の危険性を防止することが可能となる。
 なお、ユーザが子供であっても、ユーザの現在位置が「宅内3」であれば、火災の危険性の判断がしやすくなるため、スマートホンのユーザが子供であってもリモコン表示画面に「ONボタン」を表示するとしてもよい。もちろん、子供に対しては、現在位置に関わらずリモコン表示画面に「ONボタン」を表示しないように構成するとしてもよいのはいうまでもない。
 (なお書き2)
 また、本実施の形態では、ユーザの属性、スマートホンの位置、対象機器の状態を制御指標(何に基づいて制御するのかを示す指標)として用いたが、これに限らない。例えば、以下に挙げる事項を適宜組み合わせて、制御指標としてもよい。
 (用語の説明)
 人に関する属性は、ハンディキャップ有、痴呆/徘徊,老人(普通),大人(仕事をしている人),大人(主婦),大人(父),大人(母),男、女、既婚、既婚、単身、子あり、子無し、未成年、18才未満、学生、子供(大学生),子供(中高生),子供(小学生),子供(幼児),赤ちゃん(ハイハイ期)、赤ちゃん(寝返り期)、個人認証済み、近くにいる人物との関係性(家族、親戚、知人/友人、上司/同僚/部下、お得意様など)を含む。
 また、時間に関する属性は、操作する時間(早朝、朝、午前、昼、午後、夕方、夜、深夜など)、継続使用時間、累積使用時間、無操作時間、前回ログオン日時、日付、曜日、休日、記念日、日の出/日没時刻を含む。
 また、操作者のいる場所である宅外、宅内には、以下のようなものを含むとしてもよい。
 宅外:職場、出張先、駅、駐車場、家から○○圏内、家周辺、屋外周辺、玄関、裏口、ベランダ
 宅内:リビング、寝室、風呂場、洗面所、トイレ、台所
 また、制御対象機器の設置場所、現在位置である宅外、宅内は、以下のようなものを含む。
 宅外:屋外周辺、玄関、裏口、ベランダ
 宅内:リビング、寝室、風呂場、洗面所、トイレ、台所
 また、制御対象機器の属性としては、機器の種類(電気ヒータ、BDレコーダ・・・)、火気を取り扱うかどうか、通信手段の種類(wifi,NFC,PLC、・・・)、セキュリティモジュールの有無、プライバシー情報を取り扱うか、センサの種類、入力手段の種類などを含むとしてもよい。
 (実施の形態2)
 実施の形態2では、情報端末の表示部のインタフェース領域に、行動種別候補を表示させるとき(S2)、所定の警告表件を満たしていれば、さらに警告を表示する場合について説明する。
 以下、実施の形態1と異なるところを中心に説明する。
 本実施の形態におけるリモートコントロールシステムの構成およびサーバの構成は実施の形態1と同様のため説明は省略する。
 2.1 情報端末の構成
 図11は、実施の形態2における情報端末の構成の一例を示すブロック図である。なお、図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図11に示す情報端末1Aは、実施の形態1に係る情報端末1に対して、メモリ16が追加されており、制御部15Aの機能が異なる。
 制御部15Aは、情報端末1Aの表示部11におけるユーザインタフェース領域(表示画面)に、ユーザの所望の行動を示す行動種別の候補であって制御対象機器300への操作に紐付けられた行動種別の候補を表示させる。また、制御部15Aは、選択された行動種別と取得した複数の制御指標とに基づいて決定した表示態様で、情報端末1Aの表示部11におけるユーザインタフェース領域に1以上の制御メニュを表示させる。
 本実施の形態では、制御部15Aは、行動種別の候補を表示させる場合、さらに、情報端末1Aの操作者が行動種別の候補の一を選択したときに、行動種別の候補の一に紐付けられた制御対象機器300への操作が情報端末1Aの操作者に警告を発すべき条件である警告条件を満たすか否かを確認する。そして、制御部15Aは、行動種別の候補の一に紐付けられた制御対象機器300への操作が警告条件を満たすことを確認した場合、情報端末1Aの表示部11におけるユーザインタフェース領域に警告を示す警告表示を制御メニュと共にまたは制御メニュに重畳して表示する。
 ここで、例えば、制御部15Aは、情報端末1Aの操作者が行動種別の候補の一を選択したときに、行動種別の候補の一に紐付けられた制御対象機器300への操作が情報端末1Aの操作者と異なる者のプライバシーを侵害するという警告条件を満たすか否かを確認するとしてもよい。
 また、例えば、制御部15Aは、情報端末1Aの操作者が行動種別の候補の一を選択したときに、行動種別の候補の一に紐付けられた制御対象機器300への操作が非可逆操作であるという警告条件を満たすか否かを確認するとしてもよい。例えば、制御部15Aは、この場合、行動種別の候補の一に紐付けられた制御対象機器300がビデオレコーダであり、行動種別の候補の一に紐付けられた制御対象機器300への操作が録画されたコンテンツの削除である場合に、制御対象機器300への操作が非可逆操作であり警告条件を満たすと確認するとしてもよい。
 メモリ16は、警告条件を保持しており、制御部15Aにより参照される。
 2.2 リモートコントロールシステムの動作
 次に、以上のように構成されたリモートコントロールシステムの動作について説明する。
 なお、実施の形態2に係るリモートコントロールシステムの動作も、図4に示すフローチャートに沿って動作する。本実施の形態では、警告表示に関わるS2の詳細処理について説明する。
 図12は、実施の形態2におけるリモートコントロールシステムのS2の詳細処理を示すフローチャートである。
 S2において、リモートコントロールシステムは、情報端末1Aの表示部11におけるユーザインタフェース領域に、ユーザの所望の行動を示す行動種別の候補であって制御対象機器への操作に紐付けられた行動種別の候補を表示させる(S2)。
 より詳細には、図12に示すように、まず、リモートコントロールシステムは、情報端末1Aの表示部11におけるユーザインタフェース領域に行動種別の候補を表示させる(S21)。
 次いで、リモートコントロールシステムは、情報端末1Aの操作者が行動種別の候補の一を選択したときに、行動種別の候補の一に紐付けられた制御対象機器300への操作が情報端末1Aの操作者に警告を発すべき条件である警告条件を満たすか否かを確認する(S22)。
 次いで、リモートコントロールシステムは、行動種別の候補の一に紐付けられた制御対象機器300への操作が警告条件を満たすことを確認した場合(S22でY)、情報端末1Aの表示部11におけるユーザインタフェース領域に警告を示す警告表示を制御メニュと共にまたは制御メニュに重畳して表示させる(S23)。
 なお、リモートコントロールシステムは、行動種別の候補の一に紐付けられた制御対象機器300への操作が警告条件を満たすことを確認できなかった場合(S22でN)、S2の詳細処理を終了し、図4に示すS3の処理へ進む。
 2.3 実施例
 次に、以上のように動作するリモートコントロールシステムの制御対象機器に対するリモコン制御の一例を実施例として図13を用いて説明する。
 図13は、実施の形態2の実施例におけるリモートコントロールシステムの処理の一例を示すタイミングチャートである。
 本実施例では、スマートホン(情報端末1A)におけるリモートコントローラとしての機能は、スマートホンからWebブラウザ等のビューアアプリ(以下ブラウザ)を通して、サーバ4、もしくは、HGW34上で稼働するアプリケーションサーバプログラムが提供するWebページにアクセスすることによって提供されるとして説明する。また、本実施例では、アプリケーションサーバプログラムはサーバ4上で稼働しているものとして説明する。
 (スマートホン→サーバ)
 まず、スマートホン(情報端末1)の操作者(以下、ユーザと記載)はスマートホン上でブラウザを起動する(SB101)。なお、この操作は、実施の形態1の実施例におけるS101の操作に対応する。
 次に、スマートホンは、ブラウザを通じてサーバ4が提供するログインページにアクセスする(SB102)。
 次に、スマートホンは、ユーザに入力されたまたはスマートホンに保存されているユーザIDとパスワードとを用いてユーザ認証要求を行う(SB103)。
 (サーバ→スマートホン)
 次に、サーバ4は、自身のDB41を照合することで、登録されたユーザからのアクセスであることを確認し(SB104)、セッションとユーザIDとの紐づけを行う。
 次に、サーバ4は、ユーザIDに基づいて、ユーザが実行指示可能な行動一覧を、DB41に保存されている例えば図14に示す行動一覧テーブルから取得する(SB105)。
 ここで、図14は、実施の形態2の実施例における行動一覧テーブルの一例を示す図である。図14において、「行動種別」は、ユーザが実行指示可能な行動の種別を表しており、「機器ID」は、制御対象機器を一意に示すIDを表している。なお、一つの行動に対し、複数の機器にまたがる操作が必要の場合もある。この場合、「機器ID」以降の列には、機器数に応じた複数の値が格納される。また、行動一覧テーブルの構造はデータベースとして正規化されていてもかまわない。
 また、「機器種別」は、制御対象機器の種別を表している。「所有者」は、制御対象機器を管理している者を表している。「状態」は、制御対象機器の状態を表している。「所要時間」は、一の行動が実行指示された場合にその行動を実行するのに必要な時間を表している。「通信手段」は、その行動が使用する通信手段を表している。
 また、「プライバシー侵害度」は、一の行動が実行指示された場合にその行動がもたらすプライバシー侵害の度合いを表している。プライバシー侵害度は、ユーザの権限や、所有者との関係、時間、場所などで動的に変化するように構成することもできる。
 「非可逆操作」は、一の行動が実行指示された場合に行動に制御対象機器の操作に紐付けられた制御(操作)が一度実行開始すると、元に戻せない制御(操作)であるかどうかを表している。
 「動作スケジュール」は、制御対象機器の行動予定を表している。「設定値許容範囲」は、ユーザIDが設定可能な設定値の許容範囲を表している。ユーザIDが設定可能な設定値の許容範囲は、ユーザの属性や、所属グループなどによって変化する。たとえば、ユーザが子供の場合、エアコンの温度の設定値許容範囲を15度から20度までとする等である。
 「連続運転許容時間」は、これ以上連続運転する場合はユーザに警告するか、自動的にOFFしたほうがよい時間を表している。つまり、この時間を超えて機器を連続運転した場合、ユーザのスマートホンに警告通知を表示するようサーバから指示を出す。
 「操作コスト」は、その操作を実施するのに必要な、電力、通信、水道、ガス等の消費コストを表している。
 「ユーザ認証」は、その操作(制御)を行うために、ユーザ認証が必要かどうかを表している。「開始ラグ」は、その操作を開始するまでにかかる時間を表している。
 「ステータス取得」は、操作後のステータスを離れた位置から取得可能であるかどうかを表している。「ユーザ位置効果」は、ユーザと機器の位置関係で効果を発揮するか、効果を発揮しない場合に、位置関係と効果の有無を表している。「機器位置」は、機器の設置場所を表している。
 次に、サーバ4は、図14に示す行動一覧テーブルから取得した行動一覧に基づき、スマートホンの表示画面を生成する(SB106)。具体的には、サーバ4は、取得した行動一覧に基づき、行動種別の候補をユーザのスマートホンの表示画面で表示するため情報(表示画面情報)を生成する。
 次に、サーバ4は、行動種別の候補の一を選択したときに、行動種別の候補の一に紐付けられた制御対象機器の操作が例えば図15に示す警告条件に合致する場合(SB107でY)、ユーザに警告表示を行うよう例えば図16Aのようにスマートホンの表示画面に表示されるよう生成した表示画面情報を加工する(SB108)。
 ここで、図15は、実施の形態2の実施例における情報端末の操作者(ユーザ)に警告を発すべき条件である警告条件を示す図である。図15に示す例では、行動種別の候補の一に紐付けられた制御対象機器の操作(制御)が行われた際に、ユーザが困る操作などユーザに影響を与える操作等の条件を警告条件として示されている。
 次に、サーバ4は、生成した表示画面情報(SB107でN)またはSB108で加工した表示画面情報をスマートホンに送信する(SB109)。
 図16Aおよび図16Bは、実施の形態2の実施例における警告表示を伴う表示画面の一例を表す図である。図16Aに示す表示画面111では、「動画をカーナビにビデオを転送する」という項目ボタン61が下線強調されている。これは、動画をカーナビにダウンロードする行為(項目ボタン61に紐付けられた複数の制御対象機器への操作)が、動画が保存されている制御対象機器であるサーバ4とは異なる宅内3のコンテンツサーバがその動画を取得後、コンテンツサーバ内にて、カーナビが再生できる形式への変換処理や転送処理が必要となるからである。つまり、変換処理や転送処理が行われている間、コンテンツサーバが利用できなくなることをユーザに警告するために下線強調している。
 なお、図16Bに示す表示画面112のように、行動種別の候補の一である「動画をカーナビにビデオを転送する」という項目ボタン62に紐付けられた複数の制御対象機器それぞれのタイムラインを表示するとしてもよい。これにより、よりはっきりと各制御対象機器の占有時間を警告表示としてユーザに示すことができるからである。
 次に、ユーザがスマートホンに表示される行動種別の候補の中から意図する行動種別をタップして選択すると(SB110)、スマートホンは、ブラウザを介してサーバ4に対して選択された行動種別を送信する(SB111)。本実施例では、行動種別の候補の中「動画をカーナビにビデオを転送する」という行動種別が選択される。
 次に、サーバ4は、ブラウザから通知された処理を実行するように、HGW34を介して、制御対象機器300に通知する。本実施例では、サーバ4は、宅内3のコンテンツサーバに対して、カーナビへ動画を転送する処理を実行するよう処理要求を通知する(SB111)。このとき、サーバ4は、行動一覧テーブルの「状態」を「動画転送処理中」に書き換えると同時に、行動一覧テーブルの「動作スケジュール」に対し、所要時間後までは「動画転送処理中」であることを追記する。
 すると、処理要求を受け付けたコンテンツサーバは、カーナビへ動画を転送する処理を実行し(SB112)、HGWを介してサーバに処理完了したことを通知する(SB113)。
 最後に、サーバ4は、コンテンツサーバから処理完了した旨の通知を受けて、行動一覧テーブルの「状態」を「待機中」に更新し、「動作スケジュール」からすでに終了したスケジュールを削除する。
 なお、SB109において、警告の度合いに応じて強調方法を変化させて表示画面情報に表示させる加工をするとしてもよい。例えば、行動種別の候補の一が選択され実行されとき、選択された行動種別に紐付けられた制御対象機器を占有してしまう時間に応じて、アイコンの数や種類を変更したり、より強調した色に変化させたりするとしてもよい。
 また、上記では、ユーザへ警告表示する方法として、警告条件に合致する行動種別の候補の一を表示する項目を下線強調する方法について説明したが、これに限らない。例えば、図17、図18、図19、図20Aおよび図20Bに示すような方法でもよい。
 図17~図20Bは、実施の形態2の実施例における警告表示を伴う表示画面の一例を表す図である。例えば、図17に示す表示画面113のように、項目ボタン62の縁取り方法を変更し、振動するアニメーションを行わせることで警告表示をするとしてもよい。また、図18に示す表示画面114のように、項目ボタン62と共に表示されるまたは重畳表示されるアイコン63の数や吹き出し64とを用いて警告表示をするとしてもよい。
 また、図19に示す表示画面115のように、行動種別が実行されたときの動作コストに応じてアイコン数、色に変化を持たせることで、警告の度合いの変化を示すとしてもよい。
 また、図20Aに示す表示画面116や図20Bに示す表示画面117では、警告条件に合致する項目ボタン62を選択する場合には錠前アイコンをタップする必要があるなど、項目ボタン62を選択するまでの手順を増やすことで、ユーザに対して暗に警告表示をするとしてもよい。
 なお、ユーザへ警告表示する方法は上記例に限られない。以下に挙げる警告方法を適宜組み合わせて、警告や、警告の度合いを変化させるとしてもよい。
 (警告方法)
 アイコンを表示する、色を変化させる、サイズを変更する、ダイアログを表示する、選択時の振動の強さを変える、読み上げ音や選択時の音の強さを変える、フォント・文字種・文字サイズを変える、囲い込み・縁取り方法を変える、吹き出しを変える、アンダーラインを変える、アニメーション(拡縮、振動、等)を変える、長押し・複数回押しで操作可能にする、錠前アイコンタッチ等の解除操作で初めて表示されるか・操作可能にする、リストのより上または下に表示する。
 2.4 効果
 以上のように、本実施の形態によれば、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる制御方法を実現することができる。
 具体的には、本実施の形態の制御方法によれば、情報端末の表示部に、行動種別候補を表示させるとき、所定の警告表件を満たしていれば、さらに警告を表示する。それにより、ユーザに影響を与える操作(制御)について警告が表示されるので、ユーザは、自分に影響を与える操作かどうかを認識した上で、制御を行うことができるという効果を奏する。
 なお、本実施の形態では、情報端末1Aの表示部11のインタフェース領域に、行動種別候補を表示させるとき(S2)、所定の警告表件を満たしていれば、さらに警告を表示する場合について説明したが、情報端末1Aの表示部11のインタフェース領域に、制御指標に基づく制御メニュを表示させるとき(S4)に、所定の警告表件を満たしていれば、さらに警告を表示するとしてもよい。
 (実施の形態3)
 実施の形態3では、情報端末の表示部のインタフェース領域に、制御メニュの一つが選択されたとき(S5でY)、選択された制御対象機器が所定条件を満たしていれば、さらにダイアログを表示する場合について説明する。ここで、ダイアログ(対話)とは、ユーザに行動を促すメッセージである。つまり、ダイアログとは、ユーザに入力を求めたり、ユーザに何らかの通知を行うために表示されたりするメッセージである。
 以下、実施の形態1と異なるところを中心に説明する。
 本実施の形態におけるリモートコントロールシステムの構成およびサーバ4の構成は実施の形態1と同様のため説明は省略する。
 3.1 情報端末の構成
 図21は、実施の形態3における情報端末の構成の一例を示すブロック図である。なお、図2および図11と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図21に示す情報端末1Bは、実施の形態1に係る情報端末1に対して、メモリ16Bが追加されており、制御部15Bの機能が異なる。
 制御部15Bは、情報端末1Bの表示部11におけるユーザインタフェース領域(表示画面)に、複数の機器のうち制御対象となる制御対象機器300の候補を表示させる。また、制御部15Aは、選択された制御対象機器300と取得した複数の制御指標とに基づいて決定した表示態様で、情報端末1Bの表示部11におけるユーザインタフェース領域に1以上の制御メニュを表示させる。
 本実施の形態では、制御部15Bは、情報端末1Bの表示部11におけるユーザインタフェース領域に表示された制御メニュのうち第1制御メニュが選択された場合、第1制御メニュに対応する制御を制御対象機器300に実行させるか否かについて情報端末1Bの操作者に確認を促すダイアログを情報端末1Bの表示部11に表示させる。また、制御部15Bは、情報端末1Bの操作者により第1制御メニュに対応する制御を制御対象機器300に実行させることが確認された場合に、生成部13に制御信号を生成させる。
 なお、制御部15Bは、情報端末1Bに表示された制御メニュのうち第1制御メニュが選択された場合、第1制御メニュに対応する制御に関連する制御情報の確認を情報端末の操作者に促すダイアログを情報端末1Bの表示部11に表示させるとしてもよい。この場合、制御部15Bは、情報端末1Bの操作者により関連する制御情報が確認された場合に、生成部13に制御信号を生成させるとすればよい。
 メモリ16Bは、例えば、操作者に確認を促すダイアログを表示する条件として図22に示すような事前ダイアログテーブルを保持しており、制御部15Bにより参照される。ここで、図22は、実施の形態3における事前ダイアログテーブルの一例を示す図である。
 図22に示すように、事前ダイアログテーブルでは、制御対象機器の機器IDと、ユーザが操作した際の状況フラグ、重要度およびメッセージ文章が紐付けられている。なお、この事前ダイアログテーブルは、情報端末1Bのメモリ16Bではなくサーバ4のDB41で保持されるとしてもよい。
 「状況フラグ」は、ユーザが制御対象機器を操作(制御)した際にダイアログを表示する条件を示す項目である。
 「重要度」は、「メッセージ文章」として表示すべき内容に対する重要度を示す項目である。重要度に応じてダイアログとして表示されるべき表示方式が規定される。本実施の形態では、表示方式としては、例えば「通知」、「重要」、「異常」の3態様が示されている。もちろん、3態様に限らず重要度が分類されるレベル数に応じて規定されていれば態様の数はいくつでもよい。
 「メッセージ文章」は、そのダイアログに表示すべき文章を示す項目である。
 なお、図22に示す事前ダイアログテーブルは、制御対象機器に対して1項目が割り当てられている例が示されているが、この場合に限らない。1台の制御対象機器に対して複数の項目が割り当てられているとしてもかまわない。
 3.2 リモートコントロールシステムの動作
 次に、以上のように構成されたリモートコントロールシステムの動作について説明する。
 なお、実施の形態3に係るリモートコントロールシステムの動作も、図4に示すフローチャートに沿って動作する。本実施の形態では、ダイアログに関わる「S5でY」の後から「S6」の前までに(つまり、S5とS6との間で)行われるダイアログ処理について説明する。
 図23は、実施の形態3におけるリモートコントロールシステムのダイアログ処理を示すフローチャートである。
 ここで、情報端末1Bはスマートホンとする。このスマートホン(情報端末1B)におけるリモートコントローラとしての機能は、実施の形態1と同様に、スマートホンにインストールされたリモコンアプリによって提供されるとして説明する。また、図22に示す事前ダイアログテーブルはサーバ4で管理されているとする。
 まず、図4のS5において、リモートコントロールシステムは、情報端末1Bの操作者のタッチ入力などにより、制御メニュの一つが選択されたか否かを確認し、制御メニュの一つが選択されたことが確認されたとする(S5でY)。
 この場合、リモートコントロールシステムは、選択された制御メニュを実行する制御対象機器の状態がサーバ4の管理する事前ダイアログテーブルの項目に該当するか否かを確認する(SC201)。より具体的には、サーバ4は、事前ダイアログテーブルにおいて、選択された制御メニュを実行する制御対象機器のIDを検索し、その制御対象機器の状況が状況フラグの内容に該当するかを確認する。サーバは、状況フラグに該当する項目があれば、その該当項目をリモコンアプリに返信する。
 次に、スマートホンのリモコンアプリは、サーバ4からの返信結果に該当項目が含まれていた場合(SC202でY)、重要度のレベルに応じてダイアログ形式を決定して表示するダイアログ表示処理を行う(SC203)。
 最後に、リモコンアプリは、最終的な選択をユーザが実施した場合、サーバ4に処理要求を送信する(SC204)。より具体的には、リモートコントロールシステムは、情報端末1Bの操作者により第1制御メニュに対応する制御を制御対象機器300に実行させることが確認された場合に、生成部13に制御信号を生成させる。そして、リモートコントロールシステムは、生成させた制御信号をサーバに送信させる。
 3.3 ダイアログの表示例
 以下、情報端末1Bに表示されるダイアログの例について説明する。
 図24A~図28Bは、実施の形態3における情報端末の表示面に表示されるダイアログの一例を示す図である。
 具体的には、図24Aの表示画面118に、機器ID「10」の洗濯乾燥機の操作UIが表示されているとした場合に、ユーザが「電源オン」ボタンを押下した際のダイアログが図24Bの表示画面119に示されている。図24Bに示す例では予約動作をユーザに促し、電気代を節約できることを示している。これは、機器ID「10」の洗濯乾燥機の制御を行うためにユーザが制御メニュを選択した時間(操作時間帯)が、図22に示す事前ダイアログテーブルに含まれる「状況フラグ」の条件を満たしており、リモコンアプリがサーバ4より重要度「通知」の返信を受け取ったからである。
 なお、表示画面119に表示されるダイアログは、この例に限らない。制御対象機器の他に電力消費が高い機器を使用しているという「状況フラグ」がある場合は、ダイアログとして動作スケジュールをユーザに提示するとしてもよい。また、洗濯乾燥機専用洗剤や糸くずフィルタなどの消耗品における状態や経年の条件が「状況フラグ」として、事前ダイアログテーブルに含まれているとしてもかまわない。
 また、図25Aの表示画面120は、機器ID「11」の電気ヒータの操作UIが表示されている。図25Aの表示画面120において、ユーザが「電源オン」ボタンを押下した際のダイアログが図25Bの表示画面121に示されている。図25Bは、制御対象機器の状態が「状況フラグ」の条件を満たし、重要度「重要」の返信があったため、リモコンアプリが生成したダイアログが表示されている例である。表示画面121では、「はい」ボタンの面積を小さくし、「いいえ」ボタンの面積を大きくしている。「いいえ」ボタンを押下した場合は、制御対象機器に対する制御は行われない。このように、ボタンの面積を変更することによって、ダイアログ表示を通じてユーザに気付きを与えることができる。
 なお、ダイアログ表示を通じてユーザに気付きを与える方法としては、図25Cに示すような表示画面122でダイアログ表示を行ってもよい。すなわち、図25Cに示す表示画面122において「はい」ボタンをプッシュ式からスライド式に変更し、ボタンの種類を変更することによって、ユーザに気付きを与えるとしてもよい。また、「はい」ボタンを長押しやダブルタップなどのタップ方式を変更するとしてもよい。
 また、ダイアログ表示を通じてユーザに気付きを与える方法として、図26Aに示すように、「メッセージ文章」自体をボタンに表示させる表示画面123でダイアログ表示を行ってもよい。そして、ユーザがそのボタンを押下すると再度、図26Bに示すように、ダイアログを表示画面124でさせるとよい。選択回数をあえて増やすことによって、ユーザに気付きを与えることができる。
 また、図27Aの表示画面125は、機器ID「12」のテレビの操作UIが表示されている。図27Aの表示画面125において、ユーザが「電源オフ」ボタンを押下した際のダイアログが図27Bの表示画面126に示されている。図27Bは、図8に示すユーザ情報テーブルにより「大人」と特定されたユーザがテレビ(制御対象機器)を電源オンしている状況での表示画面126を示す図である。すなわち、テレビの状況が図22の「状況フラグ」を満たしているので、リモコンアプリは重要度「通知」の返信を受け取った結果、その通知を示すダイアログを情報端末1Bの表示画面126で表示している。図27Bに示す例では、図8に示すユーザ情報テーブルにより所有者「お爺ちゃん」が電源オンしたことが分かり、ユーザに「お爺ちゃん」と連絡をとる、現在地を調べるなどの別の行動選択を与えることができる。
 また、ユーザに行動選択を与える例としては、図28Bに示すような表示画面128でダイアログ表示を行ってもよい。つまり、図28Aの表示画面127は、機器ID「13」のレコーダの操作UIが表示され、図28Aの表示画面127において、ユーザが「電源オン」ボタンを押下した場合、図28Bの表示画面128に示すダイアログが示されるとしてもよい。図28Bの表示画面128には、制御対象機器の状態が「状況フラグ」に含まれ(一致し)、リモコンアプリが重要度「異常」の返信を受け取った結果、リモコンアプリの生成したダイアログが表示されている場合の例が示されている。この例では、レコーダに異常があり、ユーザにエラー番号と問い合わせ先のURI(Uniform Resource Identifier)をダイアログとして表示している。ユーザは問い合わせサイトにアクセスするか、一旦、レコーダの操作をキャンセルすることになる。なお、重要度「異常」の本例は、あくまで一例であり、異常だけをユーザに表示し、自動的に問い合わせが行われる例もありうる。
 3.4 効果
 以上のように、本実施の形態によれば、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる制御方法を実現することができる。
 具体的には、本実施の形態の制御方法によれば、例えば情報端末の操作者が操作対象機器を操作するための第1制御メニュを選択した際に、夜間電力時間帯や天気、制御対象機器の状態などの状況に応じて、操作対象機器を動作させる前に情報端末の表示部にダイアログが表示される。それにより、ユーザに影響を与える操作(制御)についてダイアログ表示により注意喚起されるので、ユーザは、自分に影響を与える操作かどうかを認識した上で、制御を行うことができるという効果を奏する。
 なお、本実施の形態では制御対象機器における機能「電源オン/オフ」で示したが、他の機能でも当然かまわない。また、本実施の形態では、「はい」「いいえ」という2択であったが、サーバがメッセージ文章以外に選択肢やボタンの種類も規定してかまわない。
 (実施の形態4)
 実施の形態1~3に示したリモートコントロールシステムを用いることで、制御対象機器を遠隔操作(遠隔制御)することが可能となる。しかし、ある人物Aが制御対象機器を遠隔操作した際に、その制御対象機器の場所に別の人物Bが居る場合もある。この場合、人物Bは急に目の前の制御対象機器が動作することで不快な思いをしたり、人物Bが操作していた操作対象機器が唐突に人物Aにより操作されたりする場合などが発生すると考えられる。本実施の形態では、この場合を考慮した制御方法について説明する。
 4.1 リモートコントロールシステムの全体構成
 以下、実施の形態4に係るリモートコントロールシステムについて図面を参照しながら説明する。
 図29は、実施の形態4におけるリモートコントロールシステムの全体構成を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図29に示すリモートコントロールシステム100Aは、実施の形態1に係るリモートコントロールシステム100に対して、情報端末1C、情報端末2Cおよびサーバ4Aの機能が異なり、宅内3Aにセンサ(不図示)が設置されている点が異なる。
 宅内3では、一部の部屋に人物が部屋に居るか否かを検出するためのセンサ(不図示)が設置されている。これらのセンサは、例えば赤外線を用いた人感センサであり、カメラを用いた人物認識装置である。
 HGW34Aは、サーバ4Aからの処理要求を宅内3の制御対象機器300に通知するとともに、センサ類や制御対象機器300から取得した情報や処理結果をサーバ4Aに対して通知する機能を有する。
 ホームコントローラ36は制御対象機器に対して処理要求を行うリモートコントローラとしての機能を有する。ホームコントローラ36は、GPSを備えていないが、端末IDを有しており、情報端末1C等と同様に処理要求を行う前に自身の端末IDをサーバ4Aに通知する。
 4.2 情報端末の構成
 図30は、実施の形態4における情報端末の構成の一例を示すブロック図である。なお、図2および図11と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 情報端末1C、2Cは、例えばスマートホンであり、制御対象機器300に対して処理要求を行うリモートコントローラとしての機能を有する。情報端末1C等は、端末IDを有し、GPSによる現在位置が測定可能で、位置情報をサーバ4Aに送信する機能を有する。情報端末1C等は制御対象機器に対する処理要求を行う場合、事前に要求を行う情報端末1C等の端末IDおよび現在位置情報をサーバ4Aに通知する。
 図30に示す情報端末1Cは、実施の形態1に係る情報端末1に対して、制御部15Cの機能が異なる。以下、制御部15の機能について説明する。
 制御部15Cは、情報端末1Cの表示部11におけるユーザインタフェース領域(表示画面)に、ユーザの所望の行動を示す行動種別の候補であって制御対象機器300への操作に紐付けられた行動種別の候補を表示させる。また、制御部15Cは、選択された行動種別と取得した複数の制御指標とに基づいて決定した表示態様で、情報端末1Cの表示部11におけるユーザインタフェース領域に1以上の制御メニュを表示させる。
 本実施の形態では、制御部15Cは、情報端末1Cに表示された制御メニュのうち第1制御メニュが選択された場合、通信部14に第1制御メニュに対応する制御により影響を受ける人物に制御を行う旨の確認を行う旨のメッセージを通知する。そして、制御部15Cは、その人物により確認が行われた後に、生成部13に制御信号を生成させるとしてもよい。
 ここでいう人物とは、例えば、第1制御メニュに対応する制御により操作される制御対象機器300を使用している人である。なお、制御対象機器300を使用している人とは、その制御対象機器300の近傍の人または制御対象機器300に対して先に制御を行った人も含む。また、第1制御メニュに対応する制御とは、例えば制御対象機器300の状態を変更する制御であったり制御対象機器300が人物のプライバシーに関する情報を取得する制御であったりしてもよい。
 制御部15Cは、例えば、上記人物が第1制御メニュに対応する制御の実行を許可しない旨の応答を確認した場合には、生成部13に第1制御メニュに対応する制御を制御対象機器300に実行させるための制御信号を生成させないとしてもよい。
 また、制御部15Cは、例えば、上記人物により所定時間応答がないことを確認した場合には、生成部13に、第1制御メニュに対応する制御を制御対象機器300に実行させるための制御信号を生成させるとしてもよい。
 なお、制御部15Cが第1制御メニュに対応する制御により影響を受ける人物に制御を行う旨の確認を行う旨のメッセージを通知するとして説明したがそれに限らない。サーバ4Aが通知するとしてもよい。
 4.3 サーバの構成
 図31は、実施の形態4におけるサーバの構成の一例を示すブロック図である。なお、図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 サーバ4Aは、スマートホンなどの情報端末1C等から処理要求を受け付け、当該処理要求を実行する。また、処理要求を実行するために必要な情報をHGW34Aに問い合わせる処理もしくはHGW34Aを介して制御対象機器に対して処理要求を通知する。
 図31に示すサーバ4Aは、実施の形態1に係るサーバ4に対して、DB41Aと、判定部44Aと生成部46Aの機能が異なる。
 DB41Aには、各制御対象機器の種別や機器ID、その制御対象機器が有する機能、制御対象機器が置かれている場所(例えば部屋名)などに関する情報などが登録されている。また、DB41Aにはそれらの制御対象機器が置かれている家庭の構成人員に関する情報も登録されている。また、DB41Aには制御対象機器の現在の動作状態や、各部屋に人が居るかどうか、人が居る場合にはそれが誰かという情報も登録されており、HGW34Aからの情報に応じて更新されている。
 特定部42は、情報端末1C(スマートホン)等から処理要求を受け付けた場合、その端末IDに基づいて情報端末1C等の所有者を特定する。
 判定部44Aは、情報端末1Cの操作者の現在位置情報と予め登録された自宅位置情報とに基づいて、情報端末1C等が、宅内3Aにあるのか、宅外にあるのかを判定する。また、判定部44Aは、その判定タイミングにおいて、DB41Aを参照することにより、宅内3Aの、制御対象機器のある部屋や近傍の部屋に他の人物が居るか否かを判定する。これにより、サーバ4Aは、特定した所有者の属性、情報端末1C等の位置、制御対象機器の属性、機能、制御対象機器の周囲状況などに応じたインタフェースを提供することが可能となる。
 生成部46Aは、情報端末1Cにより第1制御メニュが選択された旨の通知を受けた場合、第1制御メニュに対応する制御により影響を受ける人物に制御を行う旨の確認を行う旨のメッセージを生成して、制御対象機器300に送信するとともに、確認中を示す表示画面情報を作成して、情報端末1Cに送信する。また、生成部46Aは、その人物により確認が行われた後に、情報端末1Cより送信され、保持していた制御信号を制御対象機器300に送信するとしてもよい。
 これにより、例えば、情報端末1Cから送信された制御信号により、テレビやエアコンの消し忘れなどに対する電源OFFなど各制御対象機器への制御を宅外で実行させることができる。また、テレビやエアコンなど制御対象機器が存在する部屋に情報端末1Cの操作者とは別の人物が居る場合などには、当該制御対象機器に確認音や確認表示を出させることで当該部屋の人物に確認を取った上で、当該制御を実行させることができるようになる。さらには処理要求の事前に、情報端末1Cの表示部11のユーザインタフェース領域(表示画面)において、その処理要求が別人物の確認を要するものか否かを表示させることができる。
 4.4 リモートコントロールシステムの動作
 以上のように構成されたリモートコントロールシステム100Aの動作も、図4に示すフローチャートに沿って動作する。本実施の形態では、S7の後に、上述した確認結果処理が行われる点で、実施の形態1とは異なる。
 4.5 実施例
 次に、以上のように動作するリモートコントロールシステム100Aの制御対象機器に対するリモコン制御の一例を実施例として図32に示すタイミングチャートに沿って説明する。
 図32は、実施の形態4の実施例におけるリモートコントロールシステムの処理の一例を示すタイミングチャートである。
 ここで、例えば、情報端末1C(スマートホン)では、リモートコントローラとしての機能(リモコン機能)が情報端末1Cにインストールされたアプリケーション(リモコンアプリ)によって提供されるとしている。本実施例では、テレビが制御対象機器であり、リモコン制御でテレビに対する電源オフ制御を行う場合について説明する。
 まず、スマートホン(情報端末1C)の操作者(以下、ユーザと記載)は、リモコンアプリを起動する(SD101)。
 次に、リモコンアプリは、起動または操作再開時に、サーバ4Aに対して、機器一覧要求を送信するとともに、例えば図33Aのような形式でスマートホンの端末IDと現在位置情報とを送信する(SD102)。ここで、図33Aは、実施の形態4におけるSD102において送られる情報の一例を示す図である。すなわち、端末ID「01」のスマートホンが、日本標準時の2012年12月24日14時45分41秒に、北緯35.6776度、東経139.7704度に測位された位置であること(現在位置情報)を送信するものである。なお、機器一覧とは、複数の機器のうち制御対象となる制御対象機器300の候補のことを意味する。
 次に、サーバ4Aは、DB41Aを更新する(SD103)。具体的には、サーバ4Aは、SD102で送られた情報に応じて、DB41Aに登録されている例えば図33Bに示すユーザ情報テーブルを更新する。ここで、図33Bは、実施の形態4の実施例におけるサーバに登録されたユーザ情報テーブルの一例を示す図である。リモコンアプリから通知された端末IDが「01」の場合、サーバ4Aは、通知された情報端末1Cがスマートホンであり、所有者が「お父さん」であると判定することができる。なお、SD103は、図5のS104の特定処理に対応する処理である。
 次に、サーバ4Aは、宅内判定処理を行う(SD104)。具体的には、サーバ4Aは、リモコンアプリから送信(通知)された現在位置情報と、予め登録された自宅位置情報とに基づいて、処理要求を発行したスマートホン(情報端末1C)が、宅内3Aに位置(存在)するのか、宅外に位置(存在)するのかを判定する。例えば、実施の形態1と同様に、現在位置情報と自宅位置情報との差分が±10m以内の場合に、スマートホンは宅内3Aに位置(存在)すると判定し、それ以外は宅外に位置(存在)すると判定する。
 なお、測位情報が得られない場合または測位情報が得られても測位精度が低い場合には、そのスマートホンは宅外に位置すると判定するようにしてもよい。一方で、各種センサ情報からお父さんが宅内に居ることが認識できている場合には、スマートホンは宅内に位置すると判定するようにしてもよい。また、スマートホンが宅内無線LANに接続しているときには、測位情報にかかわらずスマートホンは宅内に位置すると判定するとしてもよい。なお、SD104は、図5のS105の判定処理に対応する処理である。また、本実施例では、SD104において、スマートホンは宅外に位置すると判定されたとして以下、説明する。
 次に、サーバ4Aは、操作可能機器抽出処理を行う(SD105)。具体的には、サーバ4Aは、DB41Aに登録されている例えば図34Aに示される宅内機器テーブルを検索し、宅外操作可能な機器を抽出する。また、サーバ4Aは、DB41Aに登録されている例えば図34Bに示されるセンサ情報テーブルから各機器の近傍に居る人物に関する情報を抽出する。ここで、図34Aは実施の形態4の実施例におけるサーバに登録された宅内機器テーブルの一例を示す図であり、図34Bは実施の形態4の実施例におけるサーバに登録されたセンサ情報テーブルの一例を示す図である。
 また、サーバ4Aは、図34Aおよび図34Bに示すテーブルから抽出した情報を元に、スマートホンのリモコンアプリが表示する操作可能機器一覧情報(表示画面情報)を生成する。例えば、サーバ4Aは、宅内の操作対象機器の一覧と、各機器の近傍に居る人(近傍人物)とを含む、図35に示すような操作可能一覧情報を生成する。なお、図35に示す操作可能一覧情報には、それぞれの機器に対して可能な操作の一覧と、どの操作が近傍人物に対する確認を要するものなのかに関する情報も信内容に含まれている。
 ここで、図35は、実施の形態4の実施例におけるSD106でサーバからスマートホンに返信される操作可能一覧情報の一例を示す図である。図35の「可能な処理」に記載されている処理名の最後が*(アスタリスク)となっているものは、近傍人物が居る場合には近傍人物に対する確認を要する処理であることを表している。
 なお、SD105は、図5のS109の表示情報の生成処理に対応する処理である。
 次に、サーバ4Aは、スマートホンに対して生成した操作可能機器一覧情報を返信する(SD106)。
 次に、スマートホンは、処理選択表示を行う(SD107)。具体的には、スマートホンは、操作可能機器一覧情報を受信して、例えば図36に示す表示画面110Aで制御対象機器300とその処理候補を表示する。ここで、図36は、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。この例では、制御対象機器として、テレビとエアコンが表示され、エアコンに対しては電源オフと、タイマー設定が、テレビに対しては電源オフと視聴予約が可能となっている。なお、図36は、制御対象機器の候補と制御対象機器の候補それぞれに対する制御メニュが表示画面110Aで表示されている例に対応する。
 そして、スマートホンのユーザは、表示画面110Aに表示されたボタンをタップ(タッチ入力)することで、当該ボタンに対応する処理の実行を指示する。なお、SD107は、図5のS111のUI表示を行う処理に対応する。また、本実施例では、テレビの電源オフのボタンをタップしたとして、後続する処理の説明を行う。
 次に、スマートホンのリモコンアプリは、当該処理の実行指示を示す制御信号をサーバ4Aに送信する(SD108)とともに、確認待ちである表示を行う(SD109)。本実施例では、当該制御信号は、テレビの電源オフの処理を実行する旨を示す制御信号である。
 具体的には、テレビの電源オフは近傍人物による処理可否の確認が必要な処理であるため、スマートホンのリモコンアプリは、テレビの電源オフ処理を要求する処理要求をサーバ4Aに対して送信する。そして、リモコンアプリは、例えば図37Aに示すように、近傍人物による確認待ちであるダイアログを表示し、スマートホンのユーザに確認待ちであることを伝える。ここで、図37Aは、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。図37Aには、当該ダイアログが表示された表示画面の一例が示されている。
 なお、SD108で処理要求を送信する前に、例えば図37Bに示すように、近傍人物に対して確認が発生することをユーザに伝えた上で、本当に処理要求を送信するかをユーザに確認するダイアログを表示してもよい。ここで、図37Bは、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図であり、処理要求を送信する直前に表示される確認ダイアログが示されている。図37Bでは、図35に示す操作可能機器一覧情報の「近傍人物情報」によって、テレビが設置されている部屋に居る人物が判明しているため、人物名もダイアログに表示している。これにより多忙と思われる人物や、気難しい人物が近傍に居る場合に、余計な処理要求を行わないといった判断をユーザが行うことが可能となる。
 また、SD109で確認待ちである表示を行う場合、図37Aに示す表示画面の例に限られない。例えば、ユーザが処理要求を行う操作(制御)がテレビの電源オフではなく視聴予約である場合、近傍人物による確認は不要であるため、例えば図37Cに示すように、表示画面にダイアログを出力するだけとしてもよい。ここで、図37Cは、実施の形態4の実施例におけるスマートホンの表示画面の一例を示す図である。
 次に、サーバ4Aは、確認要求を送信する(SD110、SD110)。具体的には、サーバ4Aは、テレビの電源オフの処理要求を受信したが、近傍人物による処理可否の確認が必要であるため、当該確認を行うために、処理要求の制御対象機器のテレビに対して、処理可否確認をユーザに知らせる表示を行う旨を含む確認要求を送信する。この確認要求はHGW34Aを経由して制御対象機器のテレビに送信される。
 次に、当該確認要求を受けたテレビは、確認画面を表示する(SD112)。具体的には、当該確認要求を受けたテレビ301は、例えば図38に示すように視聴中の画面301aにオーバーレイする形で、近傍に居る人物に対して処理要求で要求された処理を実行してよいか否かを示す確認メッセージ301bの表示を行う。ここで、図38は実施の形態4の実施例における確認メッセージが表示されたテレビの画面の一例である。
 なお、本実施例ではテレビ301に対して確認要求を送信したが、この場合に限られない。例えば、近傍人物の個人が特定されていて、かつその個人が常に持っているスマートホンなどの情報端末が明らかである場合には、その近傍人物が所有するスマートホンに対して確認要求を送信するとしてもよい。また制御対象機器以外であっても、その部屋に存在する機器で、近傍人物に対して確認要求を行うことが可能な能力を持つ機器があれば、それらを用いて近傍人物に対する確認を行っても構わない。
 次に、制御対象機器であるテレビは、サーバ4Aに対して確認応答を送信する(SD113、SD114)。具体的には、まず、テレビの近傍に居る人物(この例ではお母さん)は、テレビの確認表示を見て、テレビのリモコン、またはスマートホンの操作によって確認操作(「いいよ」「だめ」のどちらかを選択する操作)を行う。ここでは「いいよ」が選択された場合について説明を続ける。テレビは、「いいよ」が選択された場合、確認要求に対する結果がOKである旨を示す確認応答を、サーバ4AにHGW34Aを介して送信する。
 次に、確認要求の結果を受けたサーバ4Aは、最初に処理要求を送信してきたスマートホンに対して確認OKであったことの情報を確認結果通知として送信し(SD115)、制御対象機器であるテレビに対してはHGW34Aを経由して実際に電源オフを行うよう処理要求を送信する(SD116、SD117)。
 次に、スマートホンは、確認結果表示を行う(SD118)。具体的には、スマートホンは、処理要求結果を受信し、受信結果に応じて、例えば図39Aおよび図39Bに示すような表示画面でユーザに対して確認結果を表示する。ここで、図39Aおよび図39Bは、実施の形態4の実施例における確認結果が表示されたスマートホンの表示画面の一例である。図39Aには、確認要求に対してOK結果を受信した場合のダイアログ(確認結果)の一例が表示されている場合が示されており、図39Bには、確認要求に対してNG結果を受信した場合のダイアログ(確認結果)の一例が表示されている場合が示されている。
 次に、テレビはサーバ4Aからの処理要求を受信し、視聴予約または電源オフの処理を行うことで処理を実行する(SD119)。
 なお、SD107においてユーザが要求を行う操作(制御)がテレビの電源オフではなく視聴予約である場合、近傍人物による確認は不要であるため、サーバ4Aは確認要求を送信することなく処理要求をテレビに対して送信し、SD119に進むとすればよい。
 4.6 効果
 以上のように、本実施の形態によれば、情報端末を用いて制御対象機器を状況に応じて適切に制御することができる制御方法を実現することができる。
 具体的には、本実施の形態の制御方法によれば、宅外から各制御対象機器に実行させることができる。また、テレビやエアコンなど制御対象機器が存在する部屋に情報端末の操作者とは別の人物が居る場合などには、当該制御対象機器に確認音や確認表示を出させることで当該部屋の人物に確認を取った上で、当該制御を実行させることができるようになる。さらには処理要求の事前に、情報端末の表示部(表示画面)において、その処理要求が別人物の確認を要するものか否かを表示させることができる。それにより、別の人物が急に目の前の制御対象機器が動作することで不快な思いをしたり、別の人物が操作していた操作対象機器が唐突に情報端末の操作者により操作されたりすることを防止できる効果を奏する。
 (なお書き1)
 なお、本実施の形態においては、各機器の各々の処理に対して、遠隔操作時に単純に確認が必要であるか否かが決定されている場合を例として説明したが、この例に限られない。
 例えば、処理要求を行うユーザの居る場所に応じて詳細に遠隔操作時の近傍人物への確認処理の可否を決定するようにしてもよい。
 図40は、確認処理の可否を決定するためにサーバに格納される機器データベースの一例である。ここで、表内の「A」は確認処理を行わずに遠隔操作が可能な場合、「B」はその機器の近傍に人が居る場合に、その人物に対して確認を取る必要のある場合を、「C」はその機器の近傍に人が居なくても、宅内に人が居る場合には確認処理を行う必要があり、また宅内に人が居ない場合には操作できないものを示す。
 この「A」「B」「C」の判断基準は各機器の処理特性に応じて機器メーカにより事前に決定される。具体的にはエアコンについて、電源オンについては仮に宅内に人が居ない状態では最悪火災につながるなどの懸念があることから、遠隔操作時には必ず宅内の人物に確認を取った上で処理を行うように設定される。また電源オフや動作変更については、確認なく遠隔操作が行われると、同一室内に居る人物が不快になる可能性があるため、同一室内に居る人物に対して確認した後に処理を行うよう設定される。一方でタイマー設定などはそのタイミングでの同一室内の人物には影響を与える可能性が低いと考えられるために、確認なしに操作可能と設定できる。
 なお、この例では火災に繋がるという理由によって確認処理の要不要を分けたが、火災以外にも騒音や臭いが発生するものや、プライバシーの侵害度に応じて確認処理の要不要が設定されている遠隔操作種別があってもよい。
 (なお書き2)
 また、本実施の形態においては、単純に遠隔操作時には近傍の人物に対して確認処理を行う場合の例について説明したが、この例に限られない。処理要求によってはそのタイミングで近傍に居る人物ではなく、機器の所有者、あるいは世帯主のような家庭内で機器操作の権限を持っている人物に対して確認を行うようにしてもよい。
 (なお書き3)
 また、本実施の形態においては、遠隔操作時には近傍の人物が不快な思いをすることを抑制する目的で確認処理を行う場合の例について説明したが、この例に限られない。
 遠隔操作の処理要求によっては、その処理が同じ宅内の他の人物が予定しているスケジュールに影響を与えるようなものである場合に、影響を与える人物に対する確認操作を行うようにするとしてもよい。例えば、サーバ内に長女がテレビを視聴予約したなどのスケジュールに関するデータが格納されており、それに対してバッティングする視聴予約などを遠隔操作にて要求する際に、サーバは長女のスマートホンに対して確認要求を行うとすればよい。これにより同じ宅内の別の人物が設定している予約を予期せず上書きしてしまうなどの操作を阻止することが可能となる。
 (なお書き4)
 また、本実施の形態においては、エアコン・テレビを遠隔操作する場合を例にとって説明したが、制御対象機器は、エアコン・テレビ以外の、例えばレコーダ・湯沸かし器・扇風機・冷蔵庫・電子レンジ・洗濯機などの他の家電機器であってもよいし、玄関の鍵や、電動窓などの住設機器であってもよい。また、確認画面は、処理要求された場合に同じ態様で表示する必要はなく、遠隔操作を行う場合の危険性などによって表示態様や表示内容を変更するようにしてもよい。特にコンロ、コタツ、ストーブのように火災や不完全燃焼の危険性があるもの、洗濯機や加湿器のように水漏れの原因となるもの、扇風機、換気扇、電動シャッターなどのように機械的な作動部が露出していて怪我につながる可能性のある処理については、危険性や重要度が高いことが明確になるような態様の確認表示を出すなどを行うことが望ましい。
 以上、本発明の態様に係るリモートコントロールシステムにおける制御方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
 なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 本発明は、リモートコントロールシステムにおける制御方法に利用でき、特に家電連携の統合リモコンUIやリモコン機能を備える携帯可能な情報端末等の制御方法にも利用できる。
  1、1A、1B、1C、2、2C 情報端末
  3、3A 宅内
  4、4A サーバ
  5 ネットワーク
  11 表示部
  12 取得部
  13 生成部
  14 通信部
  15、15A、15B、15C 制御部
  16、16B メモリ
  31 光回線終端装置
  32 ルータ
  35 北緯
  36 ホームコントローラ
  42 特定部
  43 送信部
  44、44A 判定部
  45 更新部
  46、46A 生成部
  52、53、63 アイコン
  61、62 項目ボタン
  100、100A リモートコントロールシステム
  110、110A、111、112、113、114、115、116、117、118、119、120、121、122、123、124、125、126、127、128 表示画面
  300 制御対象機器
  301 テレビ
  301a 画面
  301b 確認メッセージ
  302 レコーダ
  303 ドアホン
  304 暖房器具
  305 クッキングヒータ
  306 照明
  307 エアコン
  308 給湯器
  521 電源オフボタン
  522 電源オンボタン

Claims (19)

  1.  複数の機器と、ネットワークを介して前記複数の機器のうち少なくとも一の機器である制御対象機器の制御を行う情報端末とを備えるリモートコントロールシステムにおける制御方法であって、
     前記情報端末の表示部におけるユーザインタフェース領域に、前記複数の機器のうち制御対象となる制御対象機器の候補またはユーザの所望の行動を示す行動種別の候補であって前記制御対象機器への操作に紐付けられた行動種別の候補を表示させるステップと、
     前記ネットワークを介して、前記情報端末の表示部におけるユーザインタフェース領域の表示態様を決定するための複数の制御指標を取得するステップと、
     選択された行動種別または制御対象機器と前記取得した複数の制御指標とに基づいて決定した表示態様で、前記情報端末の表示部におけるユーザインタフェース領域に1以上の制御メニュを表示させるステップと、
     前記情報端末の表示部におけるユーザインタフェース領域に表示された前記1以上の制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成するステップと、
     前記ネットワークを介して前記制御信号を前記制御対象機器に送信するステップとを含む、
     制御方法。
  2.  前記制御指標は、
     前記情報端末の操作者の属性、前記情報端末を操作する時間、前記情報端末が存在する場所、前記制御対象機器が存在する場所、前記制御対象機器の属性、前記制御対象機器の状態、前記制御対象機器の制御対象機能の属性のうちの任意の組み合わせを含む、
     請求項1に記載の制御方法。
  3.  前記制御指標は、前記情報端末の操作者の現在位置を含み、
     前記制御メニュを表示させるステップでは、
     前記制御対象機器が火気を取り扱う機器である場合、前記現在位置が前記制御対象機器の存在する家の外であるときと前記現在位置が前記家の内であるときとでは異なる表示態様に決定する、
     請求項1または2に記載の制御方法。
  4.  前記制御指標は、前記情報端末の操作者の属性と前記制御対象機器の状態とを含み、
     前記制御メニュを表示させるステップでは、
     前記制御対象機器が火気を取り扱う機器であり、かつ、前記情報端末の操作者が子供である場合、前記情報端末の表示部におけるユーザインタフェース領域に制御メニュとして前記情報端末の操作者が大人である場合と比較して所定の制御が制限された制御メニュを表示させる、
     請求項1~3のいずれか1項に記載の制御方法。
  5.  前記所定の制御は前記制御対象機器のオン制御であり、
     前記制御メニュを表示させるステップでは、
     前記情報端末の表示部におけるユーザインタフェース領域に前記制御メニュとして、前記制御対象機器のオフ制御のみを表示させ、前記制御対象機器のオン制御を表示させない、
     請求項4に記載の制御方法。
  6.  前記制御指標は、前記情報端末の操作者の属性と、前記情報端末の操作者の現在位置とを含み、
     前記制御メニュを表示させるステップでは、
     前記制御対象機器が火気を取り扱う機器であり、かつ、前記情報端末の操作者が子供である場合、前記現在位置が前記制御対象機器の存在する家の内であるときには、前記情報端末の表示部におけるユーザインタフェース領域に制御メニュとして前記情報端末の操作者が大人である場合と同じ制御メニュを表示させる、
     請求項1~5のいずれか1項に記載の制御方法。
  7.  前記制御指標は、前記情報端末の操作者の属性と、前記情報端末の操作者の現在位置と、前記情報端末とは異なる他の情報端末の操作者の属性と、前記他の情報端末の操作者の現在位置とを含み、
     前記制御メニュを表示させるステップでは、
     前記制御対象機器が火気を取り扱う機器であり、かつ、前記情報端末の操作者が子供である場合、前記情報端末の操作者の現在位置の近傍に、前記他の情報端末の操作者が存在し、かつ、前記他の情報端末の操作者が大人であるときには、前記情報端末の表示部におけるユーザインタフェース領域に制御メニュとして前記情報端末の操作者が大人である場合と同じ制御メニュを表示させる、
     請求項1~5のいずれか1項に記載の制御方法。
  8.  前記表示させるステップでは、前記行動種別の候補を表示させる場合、さらに、前記情報端末の操作者が行動種別の候補の一を選択したときに、前記行動種別の候補の一に紐付けられた制御対象機器への操作が前記情報端末の操作者に警告を発すべき条件である警告条件を満たすか否かを確認するステップを含み、
     前記制御メニュを表示させるステップでは、
     前記確認するステップにおいて前記行動種別の候補の一に紐付けられた制御対象機器への操作が前記警告条件を満たすことを確認された場合、前記情報端末の表示部におけるユーザインタフェース領域に前記警告を示す警告表示を制御メニュと共にまたは制御メニュに重畳して表示する、
     請求項1~7のいずれか1項に記載の制御方法。
  9.  前記確認するステップでは、前記情報端末の操作者が行動種別の候補の一を選択したときに、前記行動種別の候補の一に紐付けられた制御対象機器への操作が前記情報端末の操作者と異なる者のプライバシーを侵害するという前記警告条件を満たすか否かを確認する、
     請求項8に記載の制御方法。
  10.  前記確認するステップでは、前記情報端末の操作者が行動種別の候補の一を選択したときに、前記行動種別の候補の一に紐付けられた制御対象機器への操作が非可逆操作であるという前記警告条件を満たすか否かを確認する、
     請求項8に記載の制御方法。
  11.  前記確認するステップでは、
     前記行動種別の候補の一に紐付けられた制御対象機器がビデオレコーダであり、前記行動種別の候補の一に紐付けられた制御対象機器への操作が録画されたコンテンツの削除である場合に、制御対象機器への操作が非可逆操作であり前記警告条件を満たすと確認する、
     請求項10に記載の制御方法。
  12.  さらに、前記情報端末に表示された前記制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるか否かについて前記情報端末の操作者に確認を促すダイアログ(対話)を表示させるステップを含み、
     前記制御信号を生成するステップでは、
     前記ダイアログを表示するステップにおいて前記情報端末の操作者により前記第1制御メニュに対応する制御を前記制御対象機器に実行させることが確認された場合に、前記制御信号を生成させる、
     請求項1~7のいずれか1項に記載の制御方法。
  13.  さらに、前記情報端末に表示された前記制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御に関連する制御情報の確認を前記情報端末の操作者に促すダイアログ(対話)を表示させるステップを含み、
     前記制御信号を生成するステップでは、
     前記ダイアログを表示するステップにおいて前記情報端末の操作者により前記関連する制御情報が確認された場合に、前記制御信号を生成させる、
     請求項1~7のいずれか1項に記載の制御方法。
  14.  さらに、前記情報端末に表示された前記制御メニュのうち第1制御メニュが選択された場合、前記第1制御メニュに対応する制御により影響を受ける人物に前記制御を行う旨の確認を行う旨のメッセージを表示させるステップを含み、
     前記制御信号を生成するステップでは、
     前記メッセージを表示させるステップにおいて前記人物により確認が行われた後に、前記制御信号を生成する、
     請求項1~13のいずれか1項に記載の制御方法。
  15.  前記人物は、
     前記第1制御メニュに対応する制御により操作される制御対象機器を使用している人である、
     請求項14に記載の制御方法。
  16.  前記制御対象機器を使用している人は、前記制御対象機器の近傍の人または前記制御対象機器に対して先に制御を行った人であり、
     前記第1制御メニュに対応する制御は、前記制御対象機器の状態を変更する制御または前記制御対象機器が前記人物のプライバシーに関する情報を取得する制御である、
     請求項15に記載の制御方法。
  17.  前記メッセージを表示させるステップでは、
     前記制御対象機器とは異なる機器である表示装置に前記メッセージを表示させる、
     請求項14~16のいずれか1項に記載の制御方法。
  18.  前記制御信号を生成するステップでは、
     前記メッセージを表示させるステップで前記人物が前記第1制御メニュに対応する制御の実行を許可しない旨の応答を確認した場合には、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成しない、
     請求項14~17のいずれか1項に記載の制御方法。
  19.  前記制御信号を生成するステップでは、
     前記メッセージを表示させるステップで前記人物により所定時間応答がないことを確認した場合には、前記第1制御メニュに対応する制御を前記制御対象機器に実行させるための制御信号を生成する、
     請求項14~17のいずれか1項に記載の制御方法。
PCT/JP2013/007587 2012-12-28 2013-12-25 制御方法 WO2014103304A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014516525A JP6301829B2 (ja) 2012-12-28 2013-12-25 制御方法
US14/381,416 US9621433B2 (en) 2012-12-28 2013-12-25 Control method used in a remote control system
CN201380010812.8A CN104170399B (zh) 2012-12-28 2013-12-25 控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261746875P 2012-12-28 2012-12-28
US61/746,875 2012-12-28

Publications (1)

Publication Number Publication Date
WO2014103304A1 true WO2014103304A1 (ja) 2014-07-03

Family

ID=51020420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007587 WO2014103304A1 (ja) 2012-12-28 2013-12-25 制御方法

Country Status (4)

Country Link
US (1) US9621433B2 (ja)
JP (1) JP6301829B2 (ja)
CN (1) CN104170399B (ja)
WO (1) WO2014103304A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046735A (ja) * 2014-08-25 2016-04-04 シャープ株式会社 制御装置、制御システム、制御装置の制御方法、および制御プログラム
JP2016082336A (ja) * 2014-10-14 2016-05-16 シャープ株式会社 遠隔操作システムおよび電子機器
JP2017126863A (ja) * 2016-01-13 2017-07-20 リンナイ株式会社 機器の遠隔操作システム
JP2017538240A (ja) * 2015-10-30 2017-12-21 シャオミ・インコーポレイテッド インターフェース表示方法、装置、プログラム及び記録媒体
JP2018019313A (ja) * 2016-07-29 2018-02-01 シャープ株式会社 制御システム、通信機器、制御方法、およびプログラム
JP2018093394A (ja) * 2016-12-05 2018-06-14 株式会社東芝 電子機器、制御方法及びプログラム
JP2018523183A (ja) * 2015-05-27 2018-08-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ユーザと物理オブジェクトとのインタラクションをエンハンスメントするためのIoT(Internet of Things)の活用
JP2018191100A (ja) * 2017-05-01 2018-11-29 株式会社ノーリツ 熱源システムの遠隔操作システム
JP2018201079A (ja) * 2017-05-25 2018-12-20 パナソニックIpマネジメント株式会社 遠隔制御システム、遠隔制御方法、遠隔制御プログラム及び電気機器
JP2019114880A (ja) * 2017-12-22 2019-07-11 立川ブラインド工業株式会社 移動端末、及び電動遮蔽装置の遠隔操作システム
JP2020005116A (ja) * 2018-06-28 2020-01-09 株式会社ノーリツ 給湯システム、給湯装置、中継装置およびプログラム
US10699595B2 (en) 2015-08-07 2020-06-30 International Business Machines Corporation Monitoring and status detection for consumable items
WO2020158504A1 (ja) * 2019-01-29 2020-08-06 ソニー株式会社 情報機器、情報処理方法、情報処理プログラム、制御装置、制御方法及び制御プログラム
JP2021083220A (ja) * 2019-11-19 2021-05-27 パナソニックIpマネジメント株式会社 共同玄関装置、施設内装置、制御方法、プログラム
WO2023281916A1 (ja) * 2021-07-05 2023-01-12 パナソニックIpマネジメント株式会社 エネルギーリソース制御システム、エネルギーリソース制御方法及びプログラム
JP7466438B2 (ja) 2020-12-28 2024-04-12 株式会社Lixil 制御装置、制御システム、制御方法およびプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6159267B2 (ja) * 2014-01-20 2017-07-05 アクア株式会社 洗濯機
CN103885426B (zh) * 2014-03-28 2018-07-10 百度在线网络技术(北京)有限公司 设备的控制方法、客户端、服务器、中间设备和被控设备
KR102335925B1 (ko) * 2014-10-13 2021-12-06 삼성전자주식회사 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법
US10628564B2 (en) * 2015-03-12 2020-04-21 Mitsubishi Electric Corporation Air conditioner connection system
CN104866185B (zh) * 2015-04-30 2018-03-30 广东美的制冷设备有限公司 控制界面显示方法和装置
CN105554128A (zh) * 2015-12-21 2016-05-04 深圳市金立通信设备有限公司 一种远程控制方法及终端
WO2017146140A1 (ja) 2016-02-25 2017-08-31 Kddi株式会社 デバイス制御装置、通信端末、デバイス制御方法、対価算出方法及びデバイス制御システム
CN106778121A (zh) * 2016-11-23 2017-05-31 北京小米移动软件有限公司 一种开启智能设备控制页面的方法和装置
US10365932B2 (en) * 2017-01-23 2019-07-30 Essential Products, Inc. Dynamic application customization for automated environments
US9747083B1 (en) 2017-01-23 2017-08-29 Essential Products, Inc. Home device application programming interface
GB2563255B (en) * 2017-06-07 2022-12-28 Kenwood Ltd Kitchen appliance and system therefor
US12011236B2 (en) * 2017-08-08 2024-06-18 Intuitive Surgical Operations, Inc. Systems and methods for rendering alerts in a display of a teleoperational system
CN107579885A (zh) * 2017-08-31 2018-01-12 广东美的制冷设备有限公司 信息交互方法、装置及计算机可读存储介质
US11672934B2 (en) 2020-05-12 2023-06-13 Covidien Lp Remote ventilator adjustment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08340528A (ja) * 1995-06-12 1996-12-24 Canon Inc カメラ制御システム
JP2002354555A (ja) * 2001-05-23 2002-12-06 Matsushita Electric Ind Co Ltd 機器制御装置及び電子機器
JP2007201687A (ja) * 2006-01-25 2007-08-09 Matsushita Electric Works Ltd 機器制御システム
JP2008199293A (ja) * 2007-02-13 2008-08-28 Funai Electric Co Ltd リモコン装置及び画像処理装置
JP2012142907A (ja) * 2010-12-16 2012-07-26 Shunji Sugaya ユーザインターフェースを変更する携帯端末、方法及びプログラム
JP2012181777A (ja) * 2011-03-02 2012-09-20 Ricoh Co Ltd 印刷管理プログラム、印刷管理装置、印刷管理方法及び印刷システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0715453B1 (en) 1994-11-28 2014-03-26 Canon Kabushiki Kaisha Camera controller
US7116357B1 (en) 1995-03-20 2006-10-03 Canon Kabushiki Kaisha Camera monitoring system
US20030210277A1 (en) * 2000-11-03 2003-11-13 Toshihiko Harada Ordering service system at restaurant or the like
JP2003111157A (ja) 2001-09-28 2003-04-11 Toshiba Corp 統合コントローラ、機器制御方法及び機器制御プログラム
US7689920B2 (en) * 2005-09-06 2010-03-30 Apple Inc. Parental control graphical user interface
US20100122215A1 (en) * 2008-11-11 2010-05-13 Qwebl, Inc. Control interface for home automation system
US9043731B2 (en) * 2010-03-30 2015-05-26 Seven Networks, Inc. 3D mobile user interface with configurable workspace management
CN101848126A (zh) * 2010-04-30 2010-09-29 中山大学 一种互动式控制智能家居设备的方法及家庭网络***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08340528A (ja) * 1995-06-12 1996-12-24 Canon Inc カメラ制御システム
JP2002354555A (ja) * 2001-05-23 2002-12-06 Matsushita Electric Ind Co Ltd 機器制御装置及び電子機器
JP2007201687A (ja) * 2006-01-25 2007-08-09 Matsushita Electric Works Ltd 機器制御システム
JP2008199293A (ja) * 2007-02-13 2008-08-28 Funai Electric Co Ltd リモコン装置及び画像処理装置
JP2012142907A (ja) * 2010-12-16 2012-07-26 Shunji Sugaya ユーザインターフェースを変更する携帯端末、方法及びプログラム
JP2012181777A (ja) * 2011-03-02 2012-09-20 Ricoh Co Ltd 印刷管理プログラム、印刷管理装置、印刷管理方法及び印刷システム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046735A (ja) * 2014-08-25 2016-04-04 シャープ株式会社 制御装置、制御システム、制御装置の制御方法、および制御プログラム
JP2016082336A (ja) * 2014-10-14 2016-05-16 シャープ株式会社 遠隔操作システムおよび電子機器
JP2018523183A (ja) * 2015-05-27 2018-08-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ユーザと物理オブジェクトとのインタラクションをエンハンスメントするためのIoT(Internet of Things)の活用
US10721204B2 (en) 2015-05-27 2020-07-21 International Business Machines Corporation Leveraging an internet of things to initiate a physical object to perform a specific act that enhances security
US10699595B2 (en) 2015-08-07 2020-06-30 International Business Machines Corporation Monitoring and status detection for consumable items
JP2017538240A (ja) * 2015-10-30 2017-12-21 シャオミ・インコーポレイテッド インターフェース表示方法、装置、プログラム及び記録媒体
JP2017126863A (ja) * 2016-01-13 2017-07-20 リンナイ株式会社 機器の遠隔操作システム
JP2018019313A (ja) * 2016-07-29 2018-02-01 シャープ株式会社 制御システム、通信機器、制御方法、およびプログラム
JP2018093394A (ja) * 2016-12-05 2018-06-14 株式会社東芝 電子機器、制御方法及びプログラム
JP2018191100A (ja) * 2017-05-01 2018-11-29 株式会社ノーリツ 熱源システムの遠隔操作システム
JP2018201079A (ja) * 2017-05-25 2018-12-20 パナソニックIpマネジメント株式会社 遠隔制御システム、遠隔制御方法、遠隔制御プログラム及び電気機器
JP2019114880A (ja) * 2017-12-22 2019-07-11 立川ブラインド工業株式会社 移動端末、及び電動遮蔽装置の遠隔操作システム
JP7223497B2 (ja) 2017-12-22 2023-02-16 立川ブラインド工業株式会社 移動端末
JP2020005116A (ja) * 2018-06-28 2020-01-09 株式会社ノーリツ 給湯システム、給湯装置、中継装置およびプログラム
JP7225576B2 (ja) 2018-06-28 2023-02-21 株式会社ノーリツ 給湯システム
WO2020158504A1 (ja) * 2019-01-29 2020-08-06 ソニー株式会社 情報機器、情報処理方法、情報処理プログラム、制御装置、制御方法及び制御プログラム
JP2021083220A (ja) * 2019-11-19 2021-05-27 パナソニックIpマネジメント株式会社 共同玄関装置、施設内装置、制御方法、プログラム
JP7398727B2 (ja) 2019-11-19 2023-12-15 パナソニックIpマネジメント株式会社 共同玄関装置、施設内装置、制御方法、プログラム
JP7466438B2 (ja) 2020-12-28 2024-04-12 株式会社Lixil 制御装置、制御システム、制御方法およびプログラム
WO2023281916A1 (ja) * 2021-07-05 2023-01-12 パナソニックIpマネジメント株式会社 エネルギーリソース制御システム、エネルギーリソース制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2014103304A1 (ja) 2017-01-12
CN104170399A (zh) 2014-11-26
CN104170399B (zh) 2018-12-18
JP6301829B2 (ja) 2018-03-28
US20150095790A1 (en) 2015-04-02
US9621433B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
JP6301829B2 (ja) 制御方法
JP6294224B2 (ja) 制御方法
US10558323B1 (en) Systems and methods for smart home automation using a multifunction status and entry point icon
JP6305390B2 (ja) 情報通知方法、情報端末、およびプログラム
CN108476232B (zh) 用于控制电子装置的方法和装置
US10778461B2 (en) Appliance control system, home controller, remote control method, and recording medium
JP6422174B2 (ja) 家電機器制御方法およびシステム、サーバならびにコンピュータプログラム
KR102252258B1 (ko) 홈 네트워크 시스템에서 홈 디바이스들의 그룹 제어 방법 및 장치
WO2014175433A1 (ja) コントローラ、エネルギーマネジメントシステム、遠隔制御方法、及び、プログラム
JP6277557B2 (ja) 電気機器の管理方法、管理システム、操作端末、及びプログラム
US10200746B1 (en) Video integration with home assistant
JP5882391B2 (ja) エネルギーマネジメントコントローラ、エネルギーマネジメントシステム、エネルギーマネジメント方法、及び、プログラム
JP2015005856A (ja) 遠隔制御システム、ならびにこのシステムで用いられるサーバ、コンピュータプログラムおよび機器操作信号発生装置
JP2016136779A (ja) 遠隔制御システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014516525

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13868689

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14381416

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13868689

Country of ref document: EP

Kind code of ref document: A1