WO2018189784A1 - ユーザインタフェース装置 - Google Patents

ユーザインタフェース装置 Download PDF

Info

Publication number
WO2018189784A1
WO2018189784A1 PCT/JP2017/014671 JP2017014671W WO2018189784A1 WO 2018189784 A1 WO2018189784 A1 WO 2018189784A1 JP 2017014671 W JP2017014671 W JP 2017014671W WO 2018189784 A1 WO2018189784 A1 WO 2018189784A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
notification
unit
tactile feedback
feedback
Prior art date
Application number
PCT/JP2017/014671
Other languages
English (en)
French (fr)
Inventor
佑介 横須賀
太志 大濱
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/014671 priority Critical patent/WO2018189784A1/ja
Priority to JP2017560630A priority patent/JP6366863B1/ja
Priority to DE112017007223.9T priority patent/DE112017007223T5/de
Priority to CN201780089259.XA priority patent/CN110506248B/zh
Priority to US16/497,749 priority patent/US10921894B2/en
Publication of WO2018189784A1 publication Critical patent/WO2018189784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Definitions

  • the present invention relates to a user interface device that notifies tactile feedback.
  • Patent Document 1 discloses a user interface device having a function that allows a user to set priorities for various events accompanied by notification of tactile feedback.
  • this user interface device for example, when the priority of event A is set higher than the priority of event B, and event A and event B are detected at the same time, notification of tactile feedback by event A is performed. However, notification of haptic feedback by event B is not performed. Thereby, when a plurality of events are detected at the same time, only notification of tactile feedback based on the event with the highest priority can be performed, so that unnecessary notifications can be reduced.
  • the conventional user interface device is configured as described above, if a user sets priorities for various events accompanied by notification of tactile feedback in advance, if multiple events are detected at the same time, priority is given. Only notification of haptic feedback by the event with the highest ranking can be performed. However, it is necessary to set the priority every time the arrangement of the GUI parts on the screen is determined, and the larger the number of GUI parts to be arranged, the greater the load on the user associated with the priority setting. was there.
  • the present invention has been made to solve the above-described problems, and notification of tactile feedback that the user may feel uncomfortable by reducing unnecessary notifications without setting priorities in advance.
  • An object of the present invention is to obtain a user interface device that can prevent the above-described problem.
  • a user interface device includes an operation reception unit that receives an operation on a screen on which a GUI component that is a graphical user interface is displayed, an event detection unit that detects an operation received by the operation reception unit as an event, and an event If the event detected by the detection unit is an event accompanied by notification of tactile feedback that stimulates the user's tactile sense, notification of tactile feedback is permitted based on the reason for notification of tactile feedback by the event detected by the event detection unit.
  • An event management unit that determines whether or not to do so, and the feedback notification unit notifies tactile feedback if the determination result of the event management unit indicates that notification is permitted.
  • the event detected by the event detection unit is an event accompanied by notification of tactile feedback
  • notification of tactile feedback is performed based on the reason for notification of tactile feedback by the event detected by the event detection unit.
  • An event management unit is provided for determining whether to permit or not, and the feedback notification unit is configured to notify tactile feedback if the determination result of the event management unit indicates that notification is permitted.
  • FIG. 1 It is a block diagram which shows the user interface apparatus by Embodiment 1 of this invention. It is a hardware block diagram which shows the user interface apparatus by Embodiment 1 of this invention. It is a hardware block diagram of a computer in case the arithmetic unit 6 in a user interface apparatus is implement
  • FIG. FIG. 1 is a block diagram showing a user interface device according to Embodiment 1 of the present invention
  • FIG. 2 is a hardware block diagram showing a user interface device according to Embodiment 1 of the present invention.
  • the display 1 displays a GUI component which is a graphical user interface.
  • the operation reception unit 2 is realized by, for example, the operation reception circuit 21 illustrated in FIG. 2, and includes a touch panel 3, a mouse 4, a keyboard 5, and the like.
  • the operation reception unit 2 performs a process of receiving an operation on the screen of the display 1 on which the GUI component is displayed.
  • the computing device 6 includes an event detection unit 7, an event management unit 8, an event processing unit 9, and a notification instruction unit 10, and executes various processes.
  • the event detection unit 7 of the arithmetic device 6 is realized by, for example, an event detection circuit 22 shown in FIG.
  • the event detection unit 7 performs a process of detecting an operation received by the touch panel 3, the mouse 4, or the keyboard 5 in the operation reception unit 2 as an event.
  • the event management unit 8 of the arithmetic device 6 is realized by, for example, an event management circuit 23 shown in FIG.
  • the event management unit 8 performs a process of determining whether or not the event detected by the event detection unit 7 is an event accompanied by notification of tactile feedback that stimulates the user's tactile sense. If the event management unit 8 determines that the event is accompanied by notification of tactile feedback, the event management unit 8 performs processing for managing the event detected by the event detection unit 7.
  • the event management unit 8 performs a process of determining whether to permit notification of haptic feedback by the managed event based on the reason for notification of haptic feedback by the managed event.
  • the event processing unit 9 of the arithmetic device 6 is realized by, for example, an event processing circuit 24 shown in FIG.
  • the event processing unit 9 is a processing unit that causes the GUI component to execute processing of the event detected by the event detection unit 7.
  • the notification instruction unit 10 of the arithmetic device 6 is realized by, for example, a notification instruction circuit 25 shown in FIG.
  • the notification instruction unit 10 performs processing for instructing the feedback notification unit 11 to notify the tactile feedback.
  • the feedback notification unit 11 is realized by, for example, a haptic feedback device 26 illustrated in FIG. In FIG. 1, the feedback notification unit 11 is depicted as being connected to the operation reception unit 2, but in the first embodiment, the haptic feedback device 26 is provided on each of the touch panel 3, the mouse 4, and the keyboard 5. It is assumed that it is incorporated.
  • the feedback notification unit 11 notifies the operation reception unit 2 of tactile feedback according to an instruction from the notification instruction unit 10.
  • the event detection circuit 22, the event management circuit 23, the event processing circuit 24, and the notification instruction circuit 25 are, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit). ), FPGA (Field-Programmable Gate Array), or a combination thereof.
  • the constituent elements of the arithmetic device 6 in the user interface device are not limited to those realized by dedicated hardware, and the arithmetic device 6 is realized by software, firmware, or a combination of software and firmware. It may be.
  • Software or firmware is stored as a program in the memory of a computer.
  • the computer means hardware that executes a program, and includes, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a DSP (Digital Signal Processor), and the like. .
  • FIG. 3 is a hardware configuration diagram of a computer when the arithmetic device 6 in the user interface device is realized by software, firmware, or the like.
  • a program for causing the computer to execute processing procedures of the event detection unit 7, the event management unit 8, the event processing unit 9, and the notification instruction unit 10 is stored in the memory.
  • the program stored in the memory 31 may be executed by the processor 32 of the computer.
  • 4 and 5 are flowcharts showing a processing procedure when the arithmetic device 6 in the user interface device is realized by software or firmware.
  • FIG. 2 shows an example in which each component of the arithmetic device 6 in the user interface device is realized by dedicated hardware.
  • the arithmetic device 6 in the user interface device is realized by software, firmware, or the like.
  • some components in the arithmetic device 6 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • FIG. 6 is an explanatory diagram illustrating an example of a GUI component displayed on the screen of the display 1.
  • each of a window 101, a list 102, and a button 103 is a GUI component.
  • the list 102 that is a GUI component includes a list element (1), a list element (2), and a list element (3) as a plurality of list elements.
  • the window 101, the list 102, and the button 103, which are GUI parts, have a hierarchical structure.
  • the GUI component in the window 101 is represented by a tree structure of the GUI component, and there are a node 112 indicating the list 102 and a node 113 indicating the button 103 as child nodes of the node 111 indicating the window 101. Also, immediately below the node 112 indicating the list 102, there are a node 114 indicating the list element (1), a node 115 indicating the list element (2), and a node 116 indicating the list element (3).
  • the window 101 which is a GUI component, is moved to another GUI component when an event that moves the focus position to the button 103 is detected when the focus is on the list 102.
  • notification of tactile feedback is requested to the event management unit 8.
  • the window 101 is used to notify the user that the focus position has been moved to another GUI component. Assume that a notification of feedback is requested to the event management unit 8.
  • a tactile feedback is provided to inform the user that the focus position is at the lower end, which is the end of the window 101.
  • the list 102 that is a GUI component informs the user that the focus position hits the lower end that is the end of the list 102 when an event that moves the focus downward is detected. Therefore, it is assumed that notification of tactile feedback is requested to the event management unit 8.
  • the event management unit 8 performs event bubbling in which the event detected by the event detection unit 7 is propagated from the node indicating the currently focused GUI component toward the parent node of the node.
  • the event is a node 114 indicating the list element (1) ⁇ a node 112 indicating the list 102 ⁇ a window. Propagated in the order of the node 111 indicating 101.
  • the event management unit 8 stops the event bubbling when the processing of the event detected by the event detection unit 7 is completed, for example.
  • a notification request for tactile feedback is output from the window 101, which is a GUI component, to the event management unit 8.
  • the window 101 which is a GUI component
  • the event management unit 8 When notification of haptic feedback is performed in accordance with this request, the user can recognize that the focus position cannot be moved downward in the button 103. Therefore, this notification of haptic feedback is a valid notification. Conceivable.
  • a button 103 is arranged in the lower direction of the list element (3) in the window 101.
  • the focus position is changed to the button 103.
  • the focus position is moved to a different GUI component. That is, the focus position moves from the list element (3) of the list 102 to the button 103.
  • a notification request for tactile feedback is output from the window 101 which is a GUI component to the event management unit 8.
  • this notification request for tactile feedback is referred to as a notification request R1.
  • the focus position moves from the list element (3) of the list 102 to the button 103, the focus position hits the lower end, which is the end of the list 102. Therefore, a notification request for tactile feedback is received from the list 102 which is a GUI component. It is output to the event management unit 8.
  • this notification request for tactile feedback is referred to as a notification request R2.
  • notification of tactile feedback is performed according to both notification request R1 and notification request R2
  • two notifications of tactile feedback are performed in association with one event, and thus the user may feel uncomfortable. is there.
  • the focus position hits the end of the list 102
  • the focus position can be moved, so that the notification of the tactile feedback by the notification request R2 is considered to be an unnecessary notification. Therefore, it is considered desirable to execute only the notification of the haptic feedback by the notification request R1 and prevent the execution of the notification of the haptic feedback by the notification request R2.
  • the notification of the tactile feedback by the notification request R1 is executed without setting the priority order for the notification requests R1 and R2, and the notification of the tactile feedback by the notification request R2 is executed. A user interface device that can be prevented will be described.
  • the operation reception unit 2 performs a process of receiving an operation on the screen of the display 1 when the GUI component is displayed on the screen of the display 1.
  • the user sets the focus position from the position of the list element (3) in the list 102 to the lower end of the window 101 by the touch panel 3, mouse 4 or keyboard 5 in the operation receiving unit 2. It is assumed that an operation for moving downward is performed.
  • the event detection unit 7 of the arithmetic device 6 detects the operation received by the operation reception unit 2 as an event E (step ST1 in FIG. 4).
  • the event detecting unit 7 The event E detected by the above includes the following events E1 and E2.
  • the event E detected by the event detection unit 7 includes the event E1 and the event E2.
  • the present invention is not limited to this.
  • the event E2 may be detected separately. That is, the event detector 7 may detect the event E2 after detecting the event E1.
  • the event management unit 8 of the arithmetic device 6 grasps the current focus position, which is the focus position before the event is detected by the event detection unit 7.
  • the event management unit 8 identifies the GUI component currently focused (step ST2 in FIG. 4), and notifies the event processing unit 9 of the identified GUI component.
  • the current focus position is the list element (3), it is assumed that the list 102 is specified as the GUI component currently in focus.
  • the event processing unit 9 When receiving the notification of the focused GUI component from the event management unit 8, the event processing unit 9 causes the GUI component to execute processing of the event E detected by the event detection unit 7.
  • the event processing unit 9 processes the event E1 included in the event E detected by the event detection unit 7. Is executed in the list 102 (step ST3 in FIG. 4). Since the list 102 executes the process of the event E1 and the focus position hits the lower end, which is the end of the list 102, the notification request R2 for tactile feedback is output to the event management unit 8 via the event processing unit 9. .
  • the event management unit 8 determines whether or not the event E1 included in the event E detected by the event detection unit 7 is an event accompanied by notification of tactile feedback depending on the presence or absence of a tactile feedback notification request from the GUI component. Is determined (step ST4 in FIG. 4). In the first embodiment, the event management unit 8 determines that the event E1 is an event accompanied by notification of tactile feedback because the notification request R2 of tactile feedback is output from the list 102.
  • a tactile feedback notification request R2 is output from the list 102. For example, an event for moving the focus position from the list element (1) in the list 102 to the list element (2), etc. , The notification request for the tactile feedback is not output from the list 102 or the window 101.
  • an event to be moved from the list element (1) to the list element (2) is given.
  • the list element (1 ) To the list element (2) may be an event accompanied by a notification request for tactile feedback.
  • the event management unit 8 determines that the event E1 is an event accompanied by notification of tactile feedback (step ST4 in FIG. 4: YES)
  • the memory prepared for tactile feedback is used to manage the event E1.
  • the event E1 is stored in the queue that is the area (step ST5 in FIG. 4).
  • the queue is a first-in first-out (FIFO) type queue.
  • the event management unit 8 determines that the event E1 is an event accompanied by notification of tactile feedback, but it is determined that the event E1 is not an event accompanied by notification of tactile feedback. If it is performed (step ST4 in FIG. 4: NO), the event management unit 8 does not store the event E1 in the queue because it is not necessary to manage the event E1.
  • the event management unit 8 determines whether or not to stop event bubbling for the event E detected by the event detection unit 7 (step ST6 in FIG. 4). At this stage, the event management unit 8 determines that the event bubbling is not stopped because the processing of the event E detected by the event detection unit 7 has not been completed. If the event management unit 8 determines that the event bubbling is not stopped (in the case of step ST6: NO in FIG. 4), the parent GUI part of the list 102 is selected from the list 102 that is the GUI part specified in the process of step ST2. Event bubbling for propagating the events E1 and E2 to the window 101 is performed (step ST7 in FIG. 4).
  • event processing may be executed unless the event E1 is the window 101 that is the parent GUI component of the list 102. Can not. Further, since the event E2 is an event for moving the focus position from the button 103 to the lower end of the window 101, event processing is executed unless the event E2 is the window 101 that is the parent GUI component of the list 102. I can't. For this reason, event bubbling for propagating the events E1 and E2 to the window 101 is performed.
  • the event processing unit 9 When the events E1 and E2 are propagated to the window 101 by event bubbling, the event processing unit 9 first causes the window 101 to execute the processing of the event E1 (step ST3 in FIG. 4). The window 101 executes the processing of the event E1 to move the focus position from the list element (3) in the list 102 to the button 103, so that a notification request R1 for tactile feedback is sent via the event processing unit 9. Output to the event management unit 8.
  • the event management unit 8 determines whether or not the event E1 included in the event E detected by the event detection unit 7 is an event accompanied by notification of tactile feedback depending on the presence or absence of a tactile feedback notification request from the GUI component. Is determined (step ST4 in FIG. 4). In the first embodiment, the event management unit 8 determines that the event E1 is an event accompanied by notification of tactile feedback because the notification request R1 of tactile feedback is output from the window 101. If the event management unit 8 determines that the event E1 is an event accompanied by notification of tactile feedback (step ST4 in FIG. 4: YES), the event management unit 8 stores the event E1 in the queue in order to manage the event E1 (see FIG. 4 step ST5).
  • the event management unit 8 determines whether or not to stop event bubbling for the event E detected by the event detection unit 7 (step ST6 in FIG. 4). At this stage, the event management unit 8 determines that the event bubbling is not stopped because the processing of the event E detected by the event detection unit 7 has not been completed. If the event management unit 8 determines not to stop event bubbling (in the case of step ST6: NO in FIG. 4), the event management unit 8 performs event bubbling to propagate the event E2 from the window 101 to the parent GUI component of the window 101 (FIG. 4). 4 step ST7). However, in the first embodiment, since there is no parent GUI component of the window 101, event bubbling for propagating the event E2 is not performed.
  • the event processing unit 9 causes the window 101 to execute the process for the event E2 (step ST3 in FIG. 4). Since the window 101 executes the processing of the event E2 and the focus position hits the lower end, which is the end of the window 101, the window 101 outputs a tactile feedback notification request R3 to the event management unit 8 via the event processing unit 9. .
  • the event management unit 8 determines whether or not the event E2 included in the event E detected by the event detection unit 7 is an event accompanied by notification of tactile feedback depending on the presence or absence of a tactile feedback notification request from the GUI component. Is determined (step ST4 in FIG. 4). In the first embodiment, the event management unit 8 determines that the event E2 is an event accompanied by notification of tactile feedback since the notification request R3 of tactile feedback is output from the window 101. If the event management unit 8 determines that the event E2 is an event accompanied by notification of tactile feedback (step ST4 in FIG. 4: YES), the event management unit 8 stores the event E2 in the queue in order to manage the event E2 (see FIG. 4 step ST5).
  • the event management unit 8 determines whether or not to stop event bubbling for the event E detected by the event detection unit 7 (step ST6 in FIG. 4). At this stage, the event management unit 8 determines that the event bubbling is stopped because the processing of the event E detected by the event detection unit 7 has been completed. When determining that event bubbling is to be stopped (step ST6: YES in FIG. 4), the event management unit 8 performs a determination process as to whether or not notification of tactile feedback by an event stored in the queue is permitted. The notification permission determination process by the event management unit 8 will be specifically described below.
  • the event management unit 8 reads one event from the head of the queue, and sets the read event as “event F1” (step ST11 in FIG. 5). That is, the event management unit 8 reads out the event stored first among one or more events stored in the queue, and sets the read event as “event F1”. Since the “event F1” corresponds to the event E1 processed by the list 102, the reason for notifying the tactile feedback by the “event F1” is that “the focus position is at the end of the list 102”. .
  • the event management unit 8 determines whether or not the queue is empty (step ST12 in FIG. 5). If the queue is not empty (step ST12 in FIG. 5: NO), the event management unit 8 reads one event from the head of the queue and sets the read event as “event F2” (FIG. 5). Step ST13). That is, the event management unit 8 reads one of the events stored first in one or more events stored in the queue, and sets the read event as “event F2”. Since “event F2” corresponds to the event E1 processed by the window 101, the reason for notifying the tactile feedback by “event F2” is that “the focus position has moved to a different GUI component” It is.
  • the event management unit 8 determines whether to permit notification of haptic feedback by the managed events F1 and F2 based on the reason for notification of haptic feedback. That is, the event management unit 8 determines whether or not the reason for notifying the tactile feedback by the event F1 is that “the focus position is at the end of the list 102” (step ST14 in FIG. 5). In the first embodiment, it is determined that the notification reason of the tactile feedback by the event F1 is the reason that “the focus position is at the end of the list 102”.
  • the event management unit 8 determines that the reason for the notification of the tactile feedback by the event F1 is “the focus position is at the end of the list 102” (in the case of step ST14 in FIG. 5: YES), the event management unit 8 Notification of tactile feedback shall not be allowed.
  • the event management unit 8 changes the previously read “event F2” to “event F1” (step ST16 in FIG. 5).
  • the event management unit 8 determines whether or not the queue is empty (step ST12 in FIG. 5). If the queue is not empty (step ST12 in FIG. 5: NO), the event management unit 8 reads one event from the head of the queue and sets the read event as “event F2” (FIG. 5). Step ST13). That is, the event management unit 8 reads one of the events stored first in one or more events stored in the queue, and sets the read event as “event F2”. Since the “event F2” corresponds to the event E2 processed by the window 101, the reason for notifying the tactile feedback by the “event F2” is that “the position of the focus is at the end of the window 101”. .
  • the event management unit 8 determines whether or not the reason for the notification of the tactile feedback due to the event F1 changed in the process of step ST16 is that “the focus position is at the end of the list 102” (FIG. 5). Step ST14).
  • the reason for notifying the tactile feedback by the event F1 is that “the focus position has moved to a different GUI component”, and therefore “the focus position is at the end of the list 102”. Judgment is not the reason.
  • the event management unit 8 determines that the reason for the notification of the tactile feedback by the event F1 is not the reason that “the focus position is at the end of the list 102” (in the case of step ST14 of FIG. 5: NO), the event management unit 8 Notification of tactile feedback shall be allowed.
  • the notification instruction unit 10 of the arithmetic device 6 instructs the feedback notification unit 11 to notify the tactile feedback (step ST15 in FIG. 5).
  • the feedback notification unit 11 notifies the operation reception unit 2 of tactile feedback that stimulates the user's tactile sense. Accordingly, the user can recognize that the focus position has been moved to a different GUI component.
  • the event management unit 8 changes the previously read “event F2” to “event F1” (step ST16 in FIG. 5).
  • the event management unit 8 determines whether or not the queue is empty (step ST12 in FIG. 5). In the first embodiment, since three events have already been read, it is determined that the queue is empty.
  • the notification instruction unit 10 instructs the feedback notification unit 11 to notify tactile feedback (FIG. 5). 5 step ST17).
  • the feedback notification unit 11 When receiving a notification instruction of tactile feedback from the notification instruction unit 10, the feedback notification unit 11 notifies the operation reception unit 2 of tactile feedback that stimulates the user's tactile sense. As a result, the user can recognize that the focus position is at the end of the window 101 and the focus position cannot be moved downward.
  • the haptic feedback by the event detected by the event detection unit 7 An event management unit 8 that determines whether or not to allow notification of tactile feedback based on the notification reason is provided, and the feedback notification unit 11 indicates that the determination result of the event management unit 8 permits notification. For example, since it is configured to notify tactile feedback, it is possible to reduce unnecessary notifications and prevent notification of tactile feedback that may cause the user to feel uncomfortable without setting priorities in advance. There is an effect.
  • the notification instruction unit 10 instructs the feedback notification unit 11 to notify tactile feedback.
  • the event management unit 8 outputs a notification permission determination result to the feedback notification unit 11, and the feedback notification unit 11 indicates that the determination result of the event management unit 8 permits notification. In such a case, tactile feedback may be notified.
  • the event management unit 8 may output any notification permission determination result to the feedback notification unit 11 by any method. For example, the event management unit 8 may collectively output determination results for all managed events to the feedback notification unit 11. Further, when events having the same notification reason for tactile feedback continue, determination results for the consecutive events may be collectively output to the feedback notification unit 11.
  • the event management unit 8 does not permit the notification of the tactile feedback by the event when the reason for the notification of the tactile feedback by the event is “the position of the focus is at the end of the list 102”. Is shown. However, this is only an example, and the notification of the tactile feedback by the event is not permitted when the reason for the notification of the tactile feedback by the event is different from the reason that the focus position is at the end of the list 102. It may be. For example, when the reason for notification of tactile feedback due to an event is that “the focus position has moved to a different GUI component”, notification of tactile feedback due to an event may not be permitted.
  • Embodiment 2 determines whether to permit notification of haptic feedback by the event based on the reason for notification of haptic feedback by the event. An example is shown. In the second embodiment, an example will be described in which the event management unit 8 determines whether or not to permit notification of one haptic feedback based on the reason for notification of haptic feedback by a plurality of events stored in the queue. To do.
  • FIG. 7 is an explanatory diagram illustrating an example of a GUI component displayed on the screen of the display 1.
  • a window 101 that is a GUI component includes a menu 104 that is a GUI component including menu elements (1) to (4), and a GUI that includes submenu elements (1) to (5).
  • a sub menu 105 which is a part.
  • the menu element (1) in the menu 104 has a submenu 105, and the submenu 105 is displayed when the focus is on the menu element (1) in the menu 104.
  • Menu elements (2) to (4) in the menu 104 do not have a submenu 105.
  • this notification request is referred to as a notification request R4.
  • the window 101 which is a GUI component requests the event management unit 8 to notify tactile feedback in order to display the submenu 105.
  • this notification request is referred to as notification request R5.
  • the event management unit 8 determines that the reason for notification of tactile feedback corresponds to a reason that notification may be permitted, and permits notification of one tactile feedback
  • the event management unit 8 determines that the reason for notification of the haptic feedback by the event does not correspond to the reason that the notification may be permitted.
  • Notification shall not be permitted.
  • the notification request R4 and the notification request R5 are continuous, one haptic feedback is notified, so that the user does not need to set priorities in advance, as in the first embodiment. Notification can be reduced to prevent notification of tactile feedback that may cause the user to feel uncomfortable.
  • the event management unit 8 permits notification of one tactile feedback when the notification request R4 and the notification request R5 are continuous.
  • the present invention is not limited to this.
  • the notification of one tactile feedback may be permitted.
  • Embodiment 3 FIG.
  • an operation for applying the focus position to the end of the GUI component is subsequently performed.
  • notification of tactile feedback related to the operation is not permitted.
  • FIG. 8 is an explanatory diagram illustrating an example of a GUI component displayed on the screen of the display 1.
  • a window 101 that is a GUI component includes a list 102.
  • the operation accepting unit 2 receives the notification request R 2 for tactile feedback from the list 102 to the event management unit 8.
  • the event management unit 8 Upon receiving the tactile feedback notification request R2 from the list 102, the event management unit 8 permits notification of tactile feedback for the reason that the focus position is at the end of the list 102, as in the first embodiment. However, if the notification of tactile feedback for the same reason is continuously permitted, the user may feel uncomfortable. Therefore, even if a notification request for haptic feedback is output from the list 102 by the second and subsequent operations, the event management unit 8 does not permit notification of haptic feedback.
  • the present invention is suitable for a user interface device that notifies tactile feedback.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

イベント検出部（７）により検出されたイベントが、触覚フィードバックの通知を伴うイベントであれば、イベント検出部（７）により検出されたイベントによる触覚フィードバックの通知理由に基づいて、触覚フィードバックの通知を許可するか否かを判定するイベント管理部（８）を設け、フィードバック通知部（１１）が、イベント管理部（８）の判定結果が通知を許可する旨を示していれば、触覚フィードバックを通知する。

Description

ユーザインタフェース装置
　この発明は、触覚フィードバックを通知するユーザインタフェース装置に関するものである。
　近年、グラフィカルユーザインタフェースであるＧＵＩ部品が表示されている画面に対する操作が行われると、画面に対する操作をイベントとして検出し、検出したイベントが触覚フィードバックの通知を伴うイベントであれば、触覚フィードバックを通知するユーザインタフェース装置が開発されている。
　触覚フィードバックの通知は、例えば、タッチパネルなどに組み込まれているデバイスが、タッチパネルに触れているユーザの指などに振動等を与えることで達成される。
　以下の特許文献１には、ユーザが、触覚フィードバックの通知を伴う各種のイベントに優先順位を設定することが可能な機能を備えているユーザインタフェース装置が開示されている。
　このユーザインタフェース装置では、例えば、イベントＡの優先順位が、イベントＢの優先順位よりも高く設定されているとき、イベントＡとイベントＢが同時に検出された場合、イベントＡによる触覚フィードバックの通知が行われるが、イベントＢによる触覚フィードバックの通知は行われない。
　これにより、複数のイベントが同時に検出された場合、優先順位が最も高いイベントによる触覚フィードバックの通知だけを行うことができるので、不要な通知を減らすことができる。
特開２０１６－０２４８２６号公報
　従来のユーザインタフェース装置は以上のように構成されているので、事前に、ユーザが、触覚フィードバックの通知を伴う各種のイベントに優先順位を設定すれば、複数のイベントが同時に検出された場合、優先順位が最も高いイベントによる触覚フィードバックの通知だけを行うことができる。しかし、画面に対するＧＵＩ部品の配置を決定する毎に、優先順位を設定する必要があり、配置するＧＵＩ部品の数が多くなる程、優先順位の設定に伴うユーザの負荷が大きくなってしまうという課題があった。
　この発明は上記のような課題を解決するためになされたもので、ユーザが事前に優先順位を設定することなく、不要な通知を減らして、ユーザが違和感を覚える可能性がある触覚フィードバックの通知を防ぐことができるユーザインタフェース装置を得ることを目的とする。
　この発明に係るユーザインタフェース装置は、グラフィカルユーザインタフェースであるＧＵＩ部品が表示されている画面に対する操作を受け付ける操作受付部と、操作受付部により受け付けられた操作をイベントとして検出するイベント検出部と、イベント検出部により検出されたイベントが、ユーザの触覚を刺激する触覚フィードバックの通知を伴うイベントであれば、イベント検出部により検出されたイベントによる触覚フィードバックの通知理由に基づいて、触覚フィードバックの通知を許可するか否かを判定するイベント管理部とを設け、フィードバック通知部が、イベント管理部の判定結果が通知を許可する旨を示していれば、触覚フィードバックを通知するようにしたものである。
　この発明によれば、イベント検出部により検出されたイベントが、触覚フィードバックの通知を伴うイベントであれば、イベント検出部により検出されたイベントによる触覚フィードバックの通知理由に基づいて、触覚フィードバックの通知を許可するか否かを判定するイベント管理部を設け、フィードバック通知部が、イベント管理部の判定結果が通知を許可する旨を示していれば、触覚フィードバックを通知するように構成したので、ユーザが事前に優先順位を設定することなく、不要な通知を減らして、ユーザが違和感を覚える可能性がある触覚フィードバックの通知を防ぐことができる効果がある。
この発明の実施の形態１によるユーザインタフェース装置を示す構成図である。 この発明の実施の形態１によるユーザインタフェース装置を示すハードウェア構成図である。 ユーザインタフェース装置における演算装置６がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 ユーザインタフェース装置における演算装置６がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。 ユーザインタフェース装置における演算装置６がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。 ディスプレイ１の画面に表示されているＧＵＩ部品の一例を示す説明図である。 ディスプレイ１の画面に表示されているＧＵＩ部品の一例を示す説明図である。 ディスプレイ１の画面に表示されているＧＵＩ部品の一例を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１によるユーザインタフェース装置を示す構成図であり、図２は、この発明の実施の形態１によるユーザインタフェース装置を示すハードウェア構成図である。
　図１及び図２において、ディスプレイ１には、グラフィカルユーザインタフェースであるＧＵＩ部品が表示される。
　操作受付部２は、例えば図２に示す操作受付回路２１で実現され、タッチパネル３、マウス４及びキーボード５などを備えている。
　操作受付部２は、ＧＵＩ部品が表示されているディスプレイ１の画面に対する操作を受け付ける処理を実施する。
　演算装置６は、イベント検出部７、イベント管理部８、イベント処理部９及び通知指示部１０を備えており、各種の処理を実行する。
　演算装置６のイベント検出部７は、例えば図２に示すイベント検出回路２２で実現される。
　イベント検出部７は、操作受付部２におけるタッチパネル３、マウス４又はキーボード５により受け付けられた操作をイベントとして検出する処理を実施する。
　演算装置６のイベント管理部８は、例えば図２に示すイベント管理回路２３で実現される。
　イベント管理部８は、イベント検出部７により検出されたイベントが、ユーザの触覚を刺激する触覚フィードバックの通知を伴うイベントであるか否かを判定する処理を実施する。
　イベント管理部８は、触覚フィードバックの通知を伴うイベントであると判定すれば、イベント検出部７により検出されたイベントを管理する処理を実施する。
　イベント管理部８は、管理しているイベントによる触覚フィードバックの通知理由に基づいて、管理しているイベントによる触覚フィードバックの通知を許可するか否かを判定する処理を実施する。
　演算装置６のイベント処理部９は、例えば図２に示すイベント処理回路２４で実現される。
　イベント処理部９は、イベント検出部７により検出されたイベントの処理をＧＵＩ部品に実行させる処理部である。
　演算装置６の通知指示部１０は、例えば図２に示す通知指示回路２５で実現される。
　通知指示部１０は、イベント管理部８により通知が許可された場合、触覚フィードバックの通知をフィードバック通知部１１に指示する処理を実施する。
　フィードバック通知部１１は、例えば図２に示す触覚フィードバックデバイス２６で実現される。
　図１では、フィードバック通知部１１が操作受付部２と接続されているように描かれているが、この実施の形態１では、触覚フィードバックデバイス２６が、タッチパネル３、マウス４及びキーボード５のそれぞれに組み込まれていることを想定している。
　フィードバック通知部１１は、通知指示部１０の指示に従って触覚フィードバックを操作受付部２に通知する。
　図１では、ユーザインタフェース装置における演算装置６の構成要素であるイベント検出部７、イベント管理部８、イベント処理部９及び通知指示部１０のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、イベント検出回路２２、イベント管理回路２３、イベント処理回路２４及び通知指示回路２５で実現されるものを想定している。
　ここで、イベント検出回路２２、イベント管理回路２３、イベント処理回路２４及び通知指示回路２５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。
　ただし、ユーザインタフェース装置における演算装置６の構成要素は、専用のハードウェアで実現されるものに限るものではなく、演算装置６がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などが該当する。
　図３は、ユーザインタフェース装置における演算装置６がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
　ユーザインタフェース装置における演算装置６がソフトウェア又はファームウェアなどで実現される場合、イベント検出部７、イベント管理部８、イベント処理部９及び通知指示部１０の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
　図４及び図５は、ユーザインタフェース装置における演算装置６がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。
　また、図２では、ユーザインタフェース装置における演算装置６の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、ユーザインタフェース装置における演算装置６がソフトウェアやファームウェアなどで実現される例を示しているが、演算装置６における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。
　次に動作について説明する。
　図６は、ディスプレイ１の画面に表示されているＧＵＩ部品の一例を示す説明図である。
　図６において、ウインドウ１０１、リスト１０２及びボタン１０３のそれぞれは、ＧＵＩ部品である。
　ＧＵＩ部品であるリスト１０２は、複数のリスト要素として、リスト要素（１）、リスト要素（２）及びリスト要素（３）を含んでいる。
　ＧＵＩ部品であるウインドウ１０１、リスト１０２及びボタン１０３は、階層構造で構成されている。
　このため、ウインドウ１０１内のＧＵＩ部品は、ＧＵＩ部品の木構造で表現され、ウインドウ１０１を示すノード１１１の子ノードとして、リスト１０２を示すノード１１２と、ボタン１０３を示すノード１１３とが存在する。また、リスト１０２を示すノード１１２の直下には、リスト要素（１）を示すノード１１４、リスト要素（２）を示すノード１１５及びリスト要素（３）を示すノード１１６が存在する。
　この実施の形態１では、ＧＵＩ部品であるウインドウ１０１は、フォーカスがリスト１０２に当たっているとき、フォーカスの位置をボタン１０３に移動させるイベントが検出された場合、フォーカスの位置が他のＧＵＩ部品に移動したことをユーザに知らせるために、触覚フィードバックの通知をイベント管理部８に要求するものとする。
　また、ウインドウ１０１は、フォーカスがボタン１０３に当たっているとき、フォーカスの位置をリスト１０２に移動させるイベントが検出された場合、フォーカスの位置が他のＧＵＩ部品に移動したことをユーザに知らせるために、触覚フィードバックの通知をイベント管理部８に要求するものとする。
　さらに、ウインドウ１０１は、フォーカスがボタン１０３に当たっているとき、フォーカスを下方向に移動させるイベントが検出された場合、フォーカスの位置がウインドウ１０１の終端である下端に当たることをユーザに知らせるために、触覚フィードバックの通知をイベント管理部８に要求するものとする。
　ＧＵＩ部品であるリスト１０２は、フォーカスがリスト要素（３）に当たっているとき、フォーカスを下方向に移動させるイベントが検出された場合、フォーカスの位置がリスト１０２の終端である下端に当たることをユーザに知らせるために、触覚フィードバックの通知をイベント管理部８に要求するものとする。
　イベント管理部８は、イベント検出部７により検出されたイベントを、現在フォーカスが当たっているＧＵＩ部品を示すノードから、当該ノードの親ノードに向かって伝搬させるイベントバブリングを行う。
　図６に示す木構造において、例えば、フォーカスがリスト要素（１）に当たっているとき、イベントが検出された場合、当該イベントが、リスト要素（１）を示すノード１１４→リスト１０２を示すノード１１２→ウインドウ１０１を示すノード１１１の順に伝搬される。
　ただし、イベント管理部８は、例えば、イベント検出部７により検出されたイベントの処理が完了している場合、イベントバブリングを停止する。
　ここで、図１のユーザインタフェース装置の処理内容を具体的に説明する前に、好ましい触覚フィードバックの通知例を説明する。
　例えば、フォーカスがボタン１０３に当たっているとき、ユーザが、例えば、操作受付部２におけるキーボード５の下矢印キーを押下した場合を考える。
　図６の例では、ウインドウ１０１内において、ボタン１０３の下方向にはＧＵＩ部品が配置されていない。このため、ユーザが、キーボード５の下矢印キーを押下すると、フォーカスの位置がウインドウ１０１の終端である下端に当たり、フォーカスの位置を他のＧＵＩ部品に移動させることができない。
　これにより、フォーカスの位置がウインドウ１０１の終端に到達していることをユーザに知らせるために、ＧＵＩ部品であるウインドウ１０１から、触覚フィードバックの通知要求がイベント管理部８に出力される。
　この要求に従って触覚フィードバックの通知が行われた場合、ユーザは、フォーカスの位置をボタン１０３の下方向に移動させることができないことを認識できるため、この触覚フィードバックの通知は、有効な通知であると考えられる。
　次に、例えば、フォーカスがリスト要素（３）に当たっているとき、ユーザが、例えば、操作受付部２におけるキーボード５の下矢印キーを押下した場合を考える。
　図６の例では、ウインドウ１０１内において、リスト要素（３）の下方向にはボタン１０３が配置されており、ユーザが、キーボード５の下矢印キーを押下すれば、フォーカスの位置をボタン１０３に移動させることができる。
　したがって、フォーカスがリスト要素（３）に当たっているとき、ユーザがキーボード５の下矢印キーを押下すると、フォーカスの位置が異なるＧＵＩ部品に移動する。即ち、フォーカスの位置がリスト１０２のリスト要素（３）からボタン１０３に移動する。
　このため、フォーカスの位置が異なるＧＵＩ部品に移動していることをユーザに知らせるために、ＧＵＩ部品であるウインドウ１０１から、触覚フィードバックの通知要求がイベント管理部８に出力される。以下、この触覚フィードバックの通知要求を通知要求Ｒ１と称する。
　また、フォーカスの位置がリスト１０２のリスト要素（３）からボタン１０３に移動する際、フォーカスの位置がリスト１０２の終端である下端に当たるため、ＧＵＩ部品であるリスト１０２から、触覚フィードバックの通知要求がイベント管理部８に出力される。以下、この触覚フィードバックの通知要求を通知要求Ｒ２と称する。
　通知要求Ｒ１及び通知要求Ｒ２の双方に従って触覚フィードバックの通知が行われた場合、１つのイベントに伴って、２つの触覚フィードバックの通知が行われたことになるため、ユーザが違和感を覚える可能性がある。
　また、フォーカスの位置がリスト１０２の終端に当たったとしても、フォーカスの位置を移動することができるため、通知要求Ｒ２による触覚フィードバックの通知は、不要な通知であると考えられる。
　したがって、通知要求Ｒ１による触覚フィードバックの通知だけを実行して、通知要求Ｒ２による触覚フィードバックの通知の実行を防ぐことが望ましいと考えられる。
　以下、この実施の形態１では、例えば、通知要求Ｒ１，Ｒ２に対する優先順位を設定することなく、通知要求Ｒ１による触覚フィードバックの通知だけを実行して、通知要求Ｒ２による触覚フィードバックの通知の実行を防ぐことができるユーザインタフェース装置について説明する。
　操作受付部２は、例えば、図６に示すように、ＧＵＩ部品がディスプレイ１の画面に表示されているとき、ディスプレイ１の画面に対する操作を受け付ける処理を実施する。
　ここでは、説明の便宜上、ユーザが、操作受付部２におけるタッチパネル３、マウス４又はキーボード５によって、リスト１０２内のリスト要素（３）の位置からウインドウ１０１の下端に至る位置まで、フォーカスの位置を下方向に移動させる操作が行われたものとする。
　演算装置６のイベント検出部７は、操作受付部２により受け付けられた操作をイベントＥとして検出する（図４のステップＳＴ１）。
　操作受付部２により受け付けられた操作は、リスト１０２内のリスト要素（３）の位置からウインドウ１０１の下端に至る位置まで、フォーカスの位置を下方向に移動させる操作であるため、イベント検出部７により検出されたイベントＥには、以下のイベントＥ１，Ｅ２が含まれている。
　イベントＥ１
→　フォーカスの位置をリスト要素（３）からボタン１０３に移動させるイベント
　イベントＥ２
→　フォーカスの位置をボタン１０３からウインドウ１０１の下端に移動させるイベント
　この実施の形態１では、イベント検出部７により検出されたイベントＥが、イベントＥ１とイベントＥ２を含んでいる例を示しているが、これに限るものではなく、イベント検出部７がイベントＥ１とイベントＥ２を別個に検出するものであってもよい。即ち、イベント検出部７がイベントＥ１を検出してから、イベントＥ２を検出するものであってもよい。
　演算装置６のイベント管理部８は、イベント検出部７によりイベントが検出される前のフォーカスの位置である現在のフォーカスの位置を把握している。
　イベント管理部８は、現在、フォーカスが当たっているＧＵＩ部品を特定し（図４のステップＳＴ２）、特定したＧＵＩ部品をイベント処理部９に通知する。
　この実施の形態１では、現在のフォーカスの位置がリスト要素（３）であるため、現在、フォーカスが当たっているＧＵＩ部品として、リスト１０２が特定されるものとする。
　イベント処理部９は、イベント管理部８からフォーカスが当たっているＧＵＩ部品の通知を受けると、当該ＧＵＩ部品に対して、イベント検出部７により検出されたイベントＥの処理を実行させる。
　この実施の形態１では、フォーカスが当たっているＧＵＩ部品として、リスト１０２が特定されているので、イベント処理部９は、イベント検出部７により検出されたイベントＥに含まれているイベントＥ１の処理をリスト１０２に実行させる（図４のステップＳＴ３）。
　リスト１０２は、イベントＥ１の処理を実行することで、フォーカスの位置がリスト１０２の終端である下端に当たるため、イベント処理部９を介して、触覚フィードバックの通知要求Ｒ２をイベント管理部８に出力する。
　イベント管理部８は、ＧＵＩ部品からの触覚フィードバックの通知要求の有無によって、イベント検出部７により検出されたイベントＥに含まれているイベントＥ１が、触覚フィードバックの通知を伴うイベントであるか否かを判定する（図４のステップＳＴ４）。
　この実施の形態１では、イベント管理部８は、リスト１０２から触覚フィードバックの通知要求Ｒ２が出力されているため、イベントＥ１は、触覚フィードバックの通知を伴うイベントであると判定する。
　ここでは、リスト１０２から触覚フィードバックの通知要求Ｒ２が出力されている例を示しているが、例えば、フォーカスの位置をリスト１０２内のリスト要素（１）からリスト要素（２）に移動させるイベントなどである場合、リスト１０２又はウインドウ１０１などから触覚フィードバックの通知要求が出力されない。このため、このようなイベントであれば、触覚フィードバックの通知を伴うイベントではないと判定される。
　なお、ここでは、触覚フィードバックの通知要求を伴わないイベントの例として、リスト要素（１）からリスト要素（２）に移動させるイベントを挙げているが、ソフトウェアの仕様等によっては、リスト要素（１）からリスト要素（２）に移動させるイベントが、触覚フィードバックの通知要求を伴うイベントであることもあり得る。
　イベント管理部８は、イベントＥ１が、触覚フィードバックの通知を伴うイベントであると判定すると（図４のステップＳＴ４：ＹＥＳの場合）、イベントＥ１を管理するため、触覚フィードバック用に用意しているメモリ領域であるキューに、イベントＥ１を格納する（図４のステップＳＴ５）。
　この実施の形態１では、キューが、先入れ先出し（ＦＩＦＯ：Ｆｉｒｓｔ－Ｉｎ　Ｆｉｒｓｔ－Ｏｕｔ）方式のキューであるものとする。
　ここでは、イベント管理部８によって、イベントＥ１が、触覚フィードバックの通知を伴うイベントであると判定される例を示しているが、もし、イベントＥ１が、触覚フィードバックの通知を伴うイベントではないと判定されれば（図４のステップＳＴ４：ＮＯの場合）、イベントＥ１を管理する必要がないため、イベント管理部８は、イベントＥ１をキューに格納しない。
　次に、イベント管理部８は、イベント検出部７により検出されたイベントＥについてのイベントバブリングを停止するか否かを判定する（図４のステップＳＴ６）。
　この段階では、イベント管理部８は、イベント検出部７により検出されたイベントＥの処理を完了していないため、イベントバブリングを停止しないと判定する。
　イベント管理部８は、イベントバブリングを停止しないと判定すると（図４のステップＳＴ６：ＮＯの場合）、ステップＳＴ２の処理で特定しているＧＵＩ部品であるリスト１０２から、リスト１０２の親のＧＵＩ部品であるウインドウ１０１に、イベントＥ１，Ｅ２を伝搬させるイベントバブリングを行う（図４のステップＳＴ７）。
　イベントＥ１は、フォーカスの位置をリスト要素（３）からボタン１０３に移動させるイベントであるため、イベントＥ１は、リスト１０２の親のＧＵＩ部品であるウインドウ１０１でなければ、イベント処理を実行することができない。
　また、イベントＥ２は、フォーカスの位置をボタン１０３からウインドウ１０１の下端に移動させるイベントであるため、イベントＥ２は、リスト１０２の親のＧＵＩ部品であるウインドウ１０１でなければ、イベント処理を実行することができない。
　このため、イベントＥ１，Ｅ２をウインドウ１０１に伝搬させるイベントバブリングが行われる。
　イベント処理部９は、イベントバブリングによってイベントＥ１，Ｅ２がウインドウ１０１に伝搬されると、最初にイベントＥ１の処理をウインドウ１０１に実行させる（図４のステップＳＴ３）。
　ウインドウ１０１は、イベントＥ１の処理を実行することで、フォーカスの位置をリスト１０２内のリスト要素（３）からボタン１０３に移動させるため、イベント処理部９を介して、触覚フィードバックの通知要求Ｒ１をイベント管理部８に出力する。
　イベント管理部８は、ＧＵＩ部品からの触覚フィードバックの通知要求の有無によって、イベント検出部７により検出されたイベントＥに含まれているイベントＥ１が、触覚フィードバックの通知を伴うイベントであるか否かを判定する（図４のステップＳＴ４）。
　この実施の形態１では、イベント管理部８は、ウインドウ１０１から触覚フィードバックの通知要求Ｒ１が出力されているため、イベントＥ１は、触覚フィードバックの通知を伴うイベントであると判定する。
　イベント管理部８は、イベントＥ１が、触覚フィードバックの通知を伴うイベントであると判定すると（図４のステップＳＴ４：ＹＥＳの場合）、イベントＥ１を管理するため、イベントＥ１をキューに格納する（図４のステップＳＴ５）。
　次に、イベント管理部８は、イベント検出部７により検出されたイベントＥについてのイベントバブリングを停止するか否かを判定する（図４のステップＳＴ６）。
　この段階では、イベント管理部８は、イベント検出部７により検出されたイベントＥの処理を完了していないため、イベントバブリングを停止しないと判定する。
　イベント管理部８は、イベントバブリングを停止しないと判定すると（図４のステップＳＴ６：ＮＯの場合）、ウインドウ１０１から、ウインドウ１０１の親のＧＵＩ部品に、イベントＥ２を伝搬させるイベントバブリングを行う（図４のステップＳＴ７）。
　ただし、この実施の形態１では、ウインドウ１０１の親のＧＵＩ部品が存在しないため、イベントＥ２を伝搬させるイベントバブリングは行われない。
　次に、イベント処理部９は、イベントＥ２の処理をウインドウ１０１に実行させる（図４のステップＳＴ３）。
　ウインドウ１０１は、イベントＥ２の処理を実行することで、フォーカスの位置がウインドウ１０１の終端である下端に当たるため、イベント処理部９を介して、触覚フィードバックの通知要求Ｒ３をイベント管理部８に出力する。
　イベント管理部８は、ＧＵＩ部品からの触覚フィードバックの通知要求の有無によって、イベント検出部７により検出されたイベントＥに含まれているイベントＥ２が、触覚フィードバックの通知を伴うイベントであるか否かを判定する（図４のステップＳＴ４）。
　この実施の形態１では、イベント管理部８は、ウインドウ１０１から触覚フィードバックの通知要求Ｒ３が出力されているため、イベントＥ２は、触覚フィードバックの通知を伴うイベントであると判定する。
　イベント管理部８は、イベントＥ２が、触覚フィードバックの通知を伴うイベントであると判定すると（図４のステップＳＴ４：ＹＥＳの場合）、イベントＥ２を管理するため、イベントＥ２をキューに格納する（図４のステップＳＴ５）。
　次に、イベント管理部８は、イベント検出部７により検出されたイベントＥについてのイベントバブリングを停止するか否かを判定する（図４のステップＳＴ６）。
　この段階では、イベント管理部８は、イベント検出部７により検出されたイベントＥの処理を完了しているため、イベントバブリングを停止すると判定する。
　イベント管理部８は、イベントバブリングを停止すると判定すると（図４のステップＳＴ６：ＹＥＳの場合）、キューに格納しているイベントによる触覚フィードバックの通知を許可するか否かの判定処理を行う。
　以下、イベント管理部８による通知許可の判定処理を具体的に説明する。
　イベント管理部８は、キューの先頭からイベントを１つ読み出し、読み出したイベントを「イベントＦ１」とする（図５のステップＳＴ１１）。
　即ち、イベント管理部８は、キューに格納されている１つ以上のイベントの中で、最も先に格納したイベントを１つ読み出し、読み出したイベントを「イベントＦ１」とする。
　「イベントＦ１」は、リスト１０２により処理されたイベントＥ１に対応するものであるため、「イベントＦ１」による触覚フィードバックの通知理由は、「フォーカスの位置がリスト１０２の終端に当たっている」という理由である。
　次に、イベント管理部８は、キューが空になっているか否かを判定する（図５のステップＳＴ１２）。
　イベント管理部８は、キューが空になっていなければ（図５のステップＳＴ１２：ＮＯの場合）、キューの先頭からイベントを１つ読み出し、読み出したイベントを「イベントＦ２」とする（図５のステップＳＴ１３）。
　即ち、イベント管理部８は、キューに格納されている１つ以上のイベントの中で、最も先に格納したイベントを１つ読み出し、読み出したイベントを「イベントＦ２」とする。
　「イベントＦ２」は、ウインドウ１０１により処理されたイベントＥ１に対応するものであるため、「イベントＦ２」による触覚フィードバックの通知理由は、「フォーカスの位置が異なるＧＵＩ部品に移動している」という理由である。
　イベント管理部８は、イベントＦ１とイベントＦ２を読み出すと、触覚フィードバックの通知理由に基づいて、管理しているイベントＦ１，Ｆ２による触覚フィードバックの通知を許可するか否かを判定する。
　即ち、イベント管理部８は、イベントＦ１による触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由であるか否かを判定する（図５のステップＳＴ１４）。
　この実施の形態１では、イベントＦ１による触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由であると判定される。
　イベント管理部８は、イベントＦ１による触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由であると判定すると（図５のステップＳＴ１４：ＹＥＳの場合）、イベントＦ１による触覚フィードバックの通知を許可しないものとする。
　イベント管理部８は、先に読み出した「イベントＦ２」を「イベントＦ１」に変更する（図５のステップＳＴ１６）。
　次に、イベント管理部８は、キューが空になっているか否かを判定する（図５のステップＳＴ１２）。
　イベント管理部８は、キューが空になっていなければ（図５のステップＳＴ１２：ＮＯの場合）、キューの先頭からイベントを１つ読み出し、読み出したイベントを「イベントＦ２」とする（図５のステップＳＴ１３）。
　即ち、イベント管理部８は、キューに格納されている１つ以上のイベントの中で、最も先に格納したイベントを１つ読み出し、読み出したイベントを「イベントＦ２」とする。
　「イベントＦ２」は、ウインドウ１０１により処理されたイベントＥ２に対応するものであるため、「イベントＦ２」による触覚フィードバックの通知理由は、「フォーカスの位置がウインドウ１０１の終端に当たっている」という理由である。
　イベント管理部８は、ステップＳＴ１６の処理で変更されたイベントＦ１による触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由であるか否かを判定する（図５のステップＳＴ１４）。
　この実施の形態１では、イベントＦ１による触覚フィードバックの通知理由は、「フォーカスの位置が異なるＧＵＩ部品に移動している」という理由であるため、「フォーカスの位置がリスト１０２の終端に当たっている」という理由ではない判定される。
　イベント管理部８は、イベントＦ１による触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由ではないと判定すると（図５のステップＳＴ１４：ＮＯの場合）、イベントＦ１による触覚フィードバックの通知を許可するものとする。
　演算装置６の通知指示部１０は、イベント管理部８により通知が許可されると、触覚フィードバックの通知をフィードバック通知部１１に指示する（図５のステップＳＴ１５）。
　フィードバック通知部１１は、通知指示部１０から触覚フィードバックの通知指示を受けると、ユーザの触覚を刺激する触覚フィードバックを操作受付部２に通知する。
　これにより、ユーザは、フォーカスの位置が異なるＧＵＩ部品に移動していることを認識することができる。
　イベント管理部８は、先に読み出した「イベントＦ２」を「イベントＦ１」に変更する（図５のステップＳＴ１６）。
　次に、イベント管理部８は、キューが空になっているか否かを判定する（図５のステップＳＴ１２）。
　この実施の形態１では、既に、３つのイベントが読み出されているため、キューは空になっていると判定される。
　通知指示部１０は、イベント管理部８によって、キューが空になっていると判定されると（図５のステップＳＴ１２：ＹＥＳの場合）、触覚フィードバックの通知をフィードバック通知部１１に指示する（図５のステップＳＴ１７）。
　フィードバック通知部１１は、通知指示部１０から触覚フィードバックの通知指示を受けると、ユーザの触覚を刺激する触覚フィードバックを操作受付部２に通知する。
　これにより、ユーザは、フォーカスの位置がウインドウ１０１の終端に当たっており、フォーカスの位置を下方向に移動させることができないことを認識することができる。
　以上で明らかなように、この実施の形態１によれば、イベント検出部７により検出されたイベントが、触覚フィードバックの通知を伴うイベントであれば、イベント検出部７により検出されたイベントによる触覚フィードバックの通知理由に基づいて、触覚フィードバックの通知を許可するか否かを判定するイベント管理部８を設け、フィードバック通知部１１が、イベント管理部８の判定結果が通知を許可する旨を示していれば、触覚フィードバックを通知するように構成したので、ユーザが事前に優先順位を設定することなく、不要な通知を減らして、ユーザが違和感を覚える可能性がある触覚フィードバックの通知を防ぐことができる効果を奏する。
　この実施の形態１では、イベント管理部８により通知が許可されると、通知指示部１０が、触覚フィードバックの通知をフィードバック通知部１１に指示する例を示している。
　しかし、これは一例に過ぎず、イベント管理部８が、通知許可の判定結果をフィードバック通知部１１に出力し、フィードバック通知部１１が、イベント管理部８の判定結果が通知を許可する旨を示している場合に、触覚フィードバックを通知するようにしてもよい。
　なお、イベント管理部８が、通知許可の判定結果をフィードバック通知部１１に出力する方法は、どのような方法でもよい。
　例えば、イベント管理部８が、管理している全てのイベントについての判定結果をまとめてフィードバック通知部１１に出力するようにしてもよい。また、触覚フィードバックの通知理由が同じイベントが連続するとき、連続しているイベントについての判定結果をまとめてフィードバック通知部１１に出力するようにしてもよい。
　この実施の形態１では、イベント管理部８が、イベントによる触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由であるとき、イベントによる触覚フィードバックの通知を許可しない例を示している。
　しかし、これは一例に過ぎず、イベントによる触覚フィードバックの通知理由が、「フォーカスの位置がリスト１０２の終端に当たっている」という理由と異なる理由であるときに、イベントによる触覚フィードバックの通知を許可しないようにしてもよい。
　例えば、イベントによる触覚フィードバックの通知理由が、「フォーカスの位置が異なるＧＵＩ部品に移動している」という理由であるとき、イベントによる触覚フィードバックの通知を許可しないようにしてもよい。
実施の形態２．
　上記実施の形態１では、イベント管理部８が、キューに格納されているイベント毎に、当該イベントによる触覚フィードバックの通知理由に基づいて、当該イベントによる触覚フィードバックの通知を許可するか否かを判定する例を示している。
　この実施の形態２では、イベント管理部８が、キューに格納されている複数のイベントによる触覚フィードバックの通知理由に基づいて、１つの触覚フィードバックの通知を許可するか否かを判定する例を説明する。
　図７は、ディスプレイ１の画面に表示されているＧＵＩ部品の一例を示す説明図である。
　図７の例では、ＧＵＩ部品であるウインドウ１０１が、メニュー要素（１）～（４）を含んでいるＧＵＩ部品であるメニュー１０４と、サブメニュー要素（１）～（５）を含んでいるＧＵＩ部品であるサブメニュー１０５とを含んでいる。
　図７の例では、メニュー１０４内のメニュー要素（１）は、サブメニュー１０５を有しており、サブメニュー１０５は、フォーカスがメニュー１０４内のメニュー要素（１）に当たっているとき、メニュー要素（１）をクリックする操作又はフォーカスの位置を下方向に移動させる操作が行われたときに表示されるものとする。
　メニュー１０４内のメニュー要素（２）～（４）は、サブメニュー１０５を有していない。
　図７の例では、フォーカスがメニュー１０４内のメニュー要素（１）に当たっているとき、フォーカスの位置をサブメニュー１０５に移動させるイベントが検出された場合、ＧＵＩ部品であるメニュー１０４は、フォーカスの位置が他のＧＵＩ部品に移動したことをユーザに知らせるために、触覚フィードバックの通知をイベント管理部８に要求するものとする。以下、この通知要求を通知要求Ｒ４とする。
　また、ＧＵＩ部品であるウインドウ１０１は、サブメニュー１０５を表示するため、触覚フィードバックの通知をイベント管理部８に要求するものとする。以下、この通知要求を通知要求Ｒ５とする。
　イベント管理部８は、通知要求Ｒ４と通知要求Ｒ５が連続する場合、触覚フィードバックの通知理由が、通知を許可してもよい理由に該当すると判断して、１つの触覚フィードバックの通知を許可するものとする。
　一方、イベント管理部８は、通知要求Ｒ４と通知要求Ｒ５が連続しない場合、イベントによる触覚フィードバックの通知理由が、通知を許可してもよい理由に該当しないと判断して、１つの触覚フィードバックの通知を許可しないものとする。
　これにより、通知要求Ｒ４と通知要求Ｒ５が連続しているときだけ、１つの触覚フィードバックが通知されるため、上記実施の形態１と同様に、ユーザが事前に優先順位を設定することなく、不要な通知を減らして、ユーザが違和感を覚える可能性がある触覚フィードバックの通知を防ぐことができる。
　この実施の形態２では、イベント管理部８が、通知要求Ｒ４と通知要求Ｒ５が連続するときに、１つの触覚フィードバックの通知を許可する例を示したが、これに限るものではなく、２つ以上の通知要求の組み合わせが、通知を許可してもよい理由に該当するときに、１つの触覚フィードバックの通知を許可するようにすればよい。
実施の形態３．
　この実施の形態３では、イベント管理部８が、フォーカスがＧＵＩ部品の終端に当たっているという理由の触覚フィードバックの通知を許可したのち、続けて、フォーカスの位置をＧＵＩ部品の終端に当てる操作が行われた場合、当該操作に係る触覚フィードバックの通知を許可しない例を説明する。
　図８は、ディスプレイ１の画面に表示されているＧＵＩ部品の一例を示す説明図である。
　図８の例では、ＧＵＩ部品であるウインドウ１０１が、リスト１０２を含んでいる。
　この実施の形態３では、例えば、図８に示すようなＧＵＩ部品がディスプレイ１の画面が表示されているときに、ユーザが、リスト１０２内のリスト要素（３）の位置からリスト１０２の下端に至る位置まで、フォーカスの位置を下方向に移動させる操作を複数回続けて行うことで、操作受付部２により複数の操作が受け付けられているものとする。
　この場合、１回目の操作が行われたとき、フォーカスの位置がリスト１０２の終端に当たるため、リスト１０２から触覚フィードバックの通知要求Ｒ２がイベント管理部８に出力される。
　イベント管理部８は、リスト１０２から触覚フィードバックの通知要求Ｒ２を受けると、上記実施の形態１と同様に、フォーカスの位置がリスト１０２の終端に当たっている理由での触覚フィードバックの通知を許可する。
　しかし、同じ理由での触覚フィードバックの通知を続けて許可すると、ユーザが違和感を覚える可能性がある。
　そのため、イベント管理部８は、２回目以降の操作によって、リスト１０２から触覚フィードバックの通知要求が出力されても、触覚フィードバックの通知を許可しないようにする。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明は、触覚フィードバックを通知するユーザインタフェース装置に適している。
　１　ディスプレイ、２　操作受付部、３　タッチパネル、４　マウス、５　キーボード、６　演算装置、７　イベント検出部、８　イベント管理部、９　イベント処理部、１０　通知指示部、１１　フィードバック通知部、２１　操作受付回路、２２　イベント検出回路、２３　イベント管理回路、２４　イベント処理回路、２５　通知指示回路、２６　触覚フィードバックデバイス、３１　メモリ、３２　プロセッサ、１０１　ウインドウ、１０２　リスト、１０３　ボタン、１０４　メニュー、１０５　サブメニュー、１１１　ウインドウ１０１を示すノード、１１２　リスト１０２を示すノード、１１３　ボタン１０３を示すノード、１１４　リスト要素（１）を示すノード、１１５　リスト要素（２）を示すノード、１１６　リスト要素（３）を示すノード。

Claims (4)

  1. 　グラフィカルユーザインタフェースであるＧＵＩ部品が表示されている画面に対する操作を受け付ける操作受付部と、
    　前記操作受付部により受け付けられた操作をイベントとして検出するイベント検出部と、
    　前記イベント検出部により検出されたイベントが、ユーザの触覚を刺激する触覚フィードバックの通知を伴うイベントであれば、前記イベント検出部により検出されたイベントによる触覚フィードバックの通知理由に基づいて、前記触覚フィードバックの通知を許可するか否かを判定するイベント管理部と、
    　前記イベント管理部の判定結果が通知を許可する旨を示していれば、触覚フィードバックを通知するフィードバック通知部と
    　を備えたユーザインタフェース装置。
  2. 　前記イベント管理部は、
    　前記イベント検出部によりイベントが検出される毎に、前記検出されたイベントが、前記触覚フィードバックの通知を伴うイベントであるか否かを判定し、前記触覚フィードバックの通知を伴うイベントであれば、前記検出されたイベントを先入れ先出し方式のキューに格納し、
    　２つ以上のイベントを前記キューに格納している状況下では、前記キューから１つ目のイベントと２つ目のイベントとを読み出して、前記１つ目のイベントによる触覚フィードバックの通知を許可するか否かを判定したのち、
    　前記２つ目のイベントを１つ目のイベントとみなし、前記１つ目のイベントとみなした２つ目のイベントによる触覚フィードバックの通知を許可するか否かを判定することを特徴とする請求項１記載のユーザインタフェース装置。
  3. 　前記イベント管理部は、前記イベント検出部により検出された複数のイベントによる触覚フィードバックの通知理由に基づいて、１つの触覚フィードバックの通知を許可するか否かを判定することを特徴とする請求項１記載のユーザインタフェース装置。
  4. 　前記操作受付部によりフォーカスの位置をＧＵＩ部品の終端に当てる操作が複数回続けて受け付けられて、前記イベント検出部により複数のイベントが検出されており、
    　前記イベント管理部は、前記イベント検出部により検出された複数のイベントのうち、１回目の操作として検出されたイベントによる触覚フィードバックの通知を許可し、２回目以降の操作として検出されたイベントによる触覚フィードバックの通知を許可しないことを特徴とする請求項１記載のユーザインタフェース装置。
PCT/JP2017/014671 2017-04-10 2017-04-10 ユーザインタフェース装置 WO2018189784A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2017/014671 WO2018189784A1 (ja) 2017-04-10 2017-04-10 ユーザインタフェース装置
JP2017560630A JP6366863B1 (ja) 2017-04-10 2017-04-10 ユーザインタフェース装置
DE112017007223.9T DE112017007223T5 (de) 2017-04-10 2017-04-10 Benutzerschnittstellenvorrichtung
CN201780089259.XA CN110506248B (zh) 2017-04-10 2017-04-10 用户界面装置
US16/497,749 US10921894B2 (en) 2017-04-10 2017-04-10 User interface device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/014671 WO2018189784A1 (ja) 2017-04-10 2017-04-10 ユーザインタフェース装置

Publications (1)

Publication Number Publication Date
WO2018189784A1 true WO2018189784A1 (ja) 2018-10-18

Family

ID=63036772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014671 WO2018189784A1 (ja) 2017-04-10 2017-04-10 ユーザインタフェース装置

Country Status (5)

Country Link
US (1) US10921894B2 (ja)
JP (1) JP6366863B1 (ja)
CN (1) CN110506248B (ja)
DE (1) DE112017007223T5 (ja)
WO (1) WO2018189784A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167758A (ja) * 2014-03-07 2015-09-28 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
JP2016024826A (ja) * 2014-07-21 2016-02-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6933920B2 (en) * 2001-09-24 2005-08-23 Immersion Corporation Data filter for haptic feedback devices having low-bandwidth communication links
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
JP4561888B2 (ja) * 2008-07-01 2010-10-13 ソニー株式会社 情報処理装置、及び情報処理装置における振動制御方法
JP5635274B2 (ja) * 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
JP6061528B2 (ja) * 2012-07-23 2017-01-18 キヤノン株式会社 操作装置、その制御方法及びプログラム並びに記録媒体
US9223403B2 (en) * 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US10359857B2 (en) * 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
US9024747B1 (en) * 2013-11-27 2015-05-05 Google Inc. Deferring alert of notifications for a particular time
CN115700434A (zh) * 2014-09-02 2023-02-07 苹果公司 用于可变触觉输出的语义框架
JP6001611B2 (ja) * 2014-09-03 2016-10-05 レノボ・シンガポール・プライベート・リミテッド 入力装置および触覚フィードバックをする方法
US9841883B2 (en) * 2014-09-04 2017-12-12 Home Box Office, Inc. User interfaces for media application
US10365719B2 (en) * 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167758A (ja) * 2014-03-07 2015-09-28 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
JP2016024826A (ja) * 2014-07-21 2016-02-08 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法

Also Published As

Publication number Publication date
CN110506248A (zh) 2019-11-26
US20200026358A1 (en) 2020-01-23
JP6366863B1 (ja) 2018-08-01
DE112017007223T5 (de) 2019-12-05
CN110506248B (zh) 2023-05-12
JPWO2018189784A1 (ja) 2019-04-18
US10921894B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
US10430917B2 (en) Input mode recognition
US10061385B2 (en) Haptic feedback for a touch input device
US10048840B2 (en) Application switching in a graphical operating system
JP2010238148A (ja) ユーザインタフェース装置及び携帯端末装置
US10264055B2 (en) Displaying an application in a window in a graphical user interface environment on a computer system
JP6458751B2 (ja) 表示制御装置
US20150100901A1 (en) Information processing device, method, and program
JP2009238087A (ja) サーバ装置、クライアント装置、サーバベースコンピューティングシステムおよびプログラム
JP6366863B1 (ja) ユーザインタフェース装置
JP6131686B2 (ja) 表示制御装置
JP2015114799A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
WO2017165337A1 (en) Asynchronous interaction handoff to system at arbitrary time
JP6207804B1 (ja) タッチ入力判定装置、タッチ入力判定方法、及びタッチ入力判定プログラム
WO2019244279A1 (ja) ユーザインタフェース装置、ユーザインタフェース設計装置、ユーザインタフェース装置の制御方法、およびユーザインタフェース装置の画面設計方法
JP6022131B1 (ja) ユーザーインターフェイス装置、ユーザーインターフェイス表示方法
US10001915B2 (en) Methods and devices for object selection in a computer
JP5920841B2 (ja) 情報処理装置、方法及びプログラム
KR101769948B1 (ko) 의료 정보 제공 시스템, 방법 및 컴퓨터 프로그램
JP2012141728A (ja) 情報処理表示装置
JP6190313B2 (ja) 情報処理装置及びプログラム
JP2015069610A (ja) プラント監視操作システム
JP2015153317A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2015001898A (ja) 電子機器の操作入力方法および電子機器
JP2020194341A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2004013578A (ja) グラフィカル・ユーザ・インタフェースの構築方法及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017560630

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17905821

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17905821

Country of ref document: EP

Kind code of ref document: A1