WO2021220812A1 - 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム - Google Patents

情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム Download PDF

Info

Publication number
WO2021220812A1
WO2021220812A1 PCT/JP2021/015461 JP2021015461W WO2021220812A1 WO 2021220812 A1 WO2021220812 A1 WO 2021220812A1 JP 2021015461 W JP2021015461 W JP 2021015461W WO 2021220812 A1 WO2021220812 A1 WO 2021220812A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
output
user
information processing
state
Prior art date
Application number
PCT/JP2021/015461
Other languages
English (en)
French (fr)
Inventor
英夫 長坂
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022517620A priority Critical patent/JPWO2021220812A1/ja
Priority to CN202180029674.2A priority patent/CN115461699A/zh
Priority to US17/996,595 priority patent/US20230254401A1/en
Priority to EP21795792.7A priority patent/EP4145854A4/en
Publication of WO2021220812A1 publication Critical patent/WO2021220812A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/02—Telephonic communication systems specially adapted for combination with other electrical systems with bell or annunciator systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Definitions

  • This technology is particularly related to an information processing device, an information processing method, an output device, an output method, a program, and a notification system that can output an audio notification of appropriate contents at an appropriate timing.
  • Patent Document 1 discloses a technique of analyzing the environment from walking motion, position, schedule, etc., and reproducing the content.
  • Patent Document 2 discloses a technique for recommending content based on a lifestyle pattern.
  • This technology was made in view of such a situation, and makes it possible to output a voice notification with appropriate contents at an appropriate timing.
  • the information processing device of the first aspect of the present technology determines the state of the user determined based on a plurality of types of detection results regarding the user's situation, and the importance set for each notification to the user.
  • a control unit for controlling the output of the notification by voice is provided.
  • the output device of the second aspect of the present technology depends on the state of the user determined based on a plurality of types of detection results regarding the user's situation and the importance set for each notification to the user.
  • the output control unit that outputs the notification by voice is provided according to the control by the information processing device that controls the output of the notification.
  • the notification system of the third aspect of the present technology depends on the state of the user determined based on a plurality of types of detection results regarding the user's situation and the importance set for each notification to the user.
  • the information processing device that controls the output of the notification by voice and the output device used by the user that outputs the notification by voice according to the control by the information processing device are included.
  • the notification by voice is performed according to the state of the user determined based on a plurality of types of detection results regarding the user's situation and the importance set for each notification to the user.
  • the output is controlled.
  • FIG. 1 is a diagram showing a configuration example of a notification system according to an embodiment of the present technology.
  • the notification system of FIG. 1 is composed of a notification control server 1, an earphone (inner ear headphones) 11 as a configuration on the user side, and a mobile terminal 12.
  • the earphone 11 is a so-called completely independent earphone.
  • the earphone 11 and the mobile terminal 12 are connected to the notification control server 1 via a network 21 including the Internet or the like.
  • the earphone 11 may be directly connected to the network 21 or may be connected via the mobile terminal 12.
  • the earphone 11 and the mobile terminal 12 are connected via wireless communication such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and cellular communication (LTE-Advanced, 5G, etc.).
  • the earphone 11 and the mobile terminal 12 may be connected via a wired cable.
  • the notification control server 1 is an information processing device that controls the output of notifications to the user who wears the earphone 11. According to the control by the notification control server 1, the user is notified by the voice output from the earphone 11 as shown in the balloon of FIG. In the example of FIG. 2, the notification regarding the schedule registered by the user is given.
  • Various notifications such as application notifications, service notifications, and advertisement notifications used by the user are performed by voice without the user's operation.
  • Applications used by users include various applications such as mailers, schedule management applications, contact management applications, document creation applications, and OS (Operating System).
  • the application may be a so-called native application installed on the mobile terminal 12, or may be a Web application executed on a server on the network 21.
  • the user can receive various notifications related to him / her by the so-called SUI (Sound User Interface) without operating the mobile terminal 12 or the like to see the screen. can.
  • SUI Solid User Interface
  • Notification control by the notification control server 1 is performed so as to deliver information appropriate for the user at an appropriate timing for the user based on the state of the user.
  • the user's state is determined based on the detection results of various sensors and the like. Sensors include accelerometers, gyro sensors, GPS sensors and the like.
  • FIG. 3 is a diagram showing an example of information used for determining the state of the user.
  • each detection result by the DND setting detector D1, the conversation detector D2, the moving state detector D3, the application motion detector D4, and the position detector D5 is used to determine the user's state.
  • the DND setting detector D1 detects the setting status of DND (Do Not Disturb).
  • the DND setting is an ON / OFF setting of a function that determines the user's status as DND, which will be described later. If the DND setting is, for example, ON, it is allowed to determine the user's status as DND.
  • the detection result of the DND setting detector D1 is ON / OFF of the DND setting as shown at the tip of the arrow A1.
  • the conversation detector D2 detects the state of the user's conversation.
  • the conversation detected by the conversation detector D2 includes not only the conversation that the user is conducting with Face To Face, but also the conversation that is conducted using the application of the mobile terminal 12 such as the call application.
  • the detection result of the conversation detector D2 includes utterance by the person himself / herself, utterance by another person, silence, non-speaking, and the like.
  • the movement state detector D3 detects the movement state of the user. As shown at the tip of the arrow A3, the detection result of the moving state detector D3 includes walking, running, stopping, moving by public transportation, and the like.
  • the application motion detector D4 detects the operation status of the application (application) used by the user.
  • the application motion detector D4 is realized by, for example, a Web API that transmits / receives information to / from a server that executes an application.
  • the detection result of the application motion detector D4 includes, as shown at the tip of the arrow A4, during a conference, during a call, during a conference call, watching a video, watching music, and the like.
  • the position detector D5 detects the user's location. As shown at the tip of the arrow A5, the detection result of the position detector D5 includes home, work, going out, or indefinite (no setting).
  • each of the conversation detector D2, the moving state detector D3, the application motion detector D4, and the position detector D5 is required to obtain a plurality of types of detection results regarding the user's situation.
  • Each detector shown in FIG. 3 is realized in various devices such as a notification control server 1, an earphone 11, and a mobile terminal 12. Each detector sets each target based on the sensor data measured by the sensor provided in the device such as the earphone 11 or the mobile terminal 12, or based on the information transmitted from the server on the network 21. To detect.
  • a detector for detecting an object other than the object shown in FIG. 3 may be provided, and the detection result by the detector may be used for determining the state of the user.
  • FIG. 4 is a diagram showing an example of changes in the detection result.
  • each column represents the detection result of each detector in FIG.
  • the detection result of the conversation state by the conversation detector D2 changes from the state of "with conversation” to the state of "no conversation” at a certain timing, and after the state of "no conversation” continues for a predetermined time, " It will change to the state of "with conversation” again.
  • the state of the user at a certain timing is comprehensively determined by combining the states determined using the detection results of each detector.
  • FIG. 5 is a diagram showing an example of the relationship between Context and notification.
  • DND is a state in which notifications are suppressed as much as possible.
  • the Context is DND, only notifications that are considered to be particularly important, such as schedule notifications, are output.
  • Neutral is a state in which notifications are narrowed down.
  • notifications such as the contents of the email are output.
  • Breaking Time is a state in which notifications are actively sent.
  • notifications such as news content are output.
  • DND DND
  • Neutral Netral
  • Breaking Time represent states according to the degree of ease of receiving notifications for the user.
  • Four or more states may be set as states according to the degree of ease of receiving notifications.
  • the Context is determined as Breaking Time based on the "train” which is the detection result of the moving state, and the Context is set as the DND based on the "video viewing” which is the detection result of the application operation. It has been judged.
  • the Context is determined as Neutral based on the other detection results. By combining the determination results of the Context based on each of these detection results, the Context representing the overall user status is determined.
  • the Context determined based on each detection result is referred to as an individual Context
  • the comprehensive Context determined by combining the determination results of the individual Contexts is referred to as a comprehensive Context.
  • FIG. 6 is a diagram showing an example of the determination result of the comprehensive Context.
  • Each detection result shown in FIG. 6 is the same as the detection result described with reference to FIG. Based on each detection result, the individual Context of each time zone is determined as follows.
  • Times t0 to t5 Neutral Times t5 to t6: DND because the detection result is "watching video"
  • Times t6 to t9 Neutral
  • Times t1 to t2 Neutral Since all individual Contexts are determined as Neutral, the total Context is determined as Neutral.
  • Times t2 to t3 Breaking Time Since the individual Context based on the detection result of the moving state is determined as Breaking Time and the other individual Contexts are determined as Neutral, the total Context is determined as Breaking Time.
  • Times t4 to t5 Breaking Time Since the individual Context based on the detection result of the moving state is determined as Breaking Time and the other individual Contexts are determined as Neutral, the total Context is determined as Breaking Time.
  • Times t5 to t6 DND Since the individual Context based on the detection result of the application operation is determined as DND, the total Context is determined as DND.
  • Times t6 to t7 Breaking Time Since the individual Context based on the detection result of the moving state is determined as Breaking Time and the other individual Contexts are determined as Neutral, the total Context is determined as Breaking Time.
  • Time t8 to t9 DND Since the individual Context based on the conversation state detection result is determined as DND, the total Context is determined as DND.
  • the total Context of the time including the individual Context determined as DND is determined as DND.
  • the total Context of the time that includes the individual Context determined as Breaking Time is determined as Breaking Time.
  • the total Context of the time that does not include the individual Context determined as DND and the individual Context determined as Breaking Time is determined as Neutral.
  • the user status is determined in this way and used to control the output of the notification. It should be noted that the state in which the individual Context is determined when the total Context is determined as DND or the like may be learned and changed.
  • the notification control server 1 determines the importance of each notification, and the output of the notification is controlled based on the determined importance.
  • FIG. 7 is a diagram showing an example of output for each importance.
  • each notification has three levels of importance: importance 1, importance 2, and importance 3.
  • the notification of importance 1 is indispensable for the user, and it is assumed that there is a disadvantage to the user if there is an omission of the notification.
  • Disaster information, incoming calls, conference alarm notifications, etc. are importance 1 notifications.
  • the importance level 2 notification is a notification that is expected to be useful to the user.
  • the content of the email, the notification of the summary of today's schedule, etc. will be the notification of importance 2.
  • the notification of importance 3 is a notification that is assumed to be desirable for the user. Recommendation notifications such as new song release notifications are importance 3 notifications.
  • FIG. 7 shows the relationship between each state of the total Context and the importance of the notification that can be output in each state.
  • FIG. 8 is a diagram showing an example of control of notification interrupts.
  • Various notifications of various applications used by the user are sequentially registered in the notification control server 1.
  • Information about notification registration is transmitted from various applications to the notification control server 1.
  • the notification control server 1 accepts notification registration from the application by receiving the transmitted information, and controls the output of each notification.
  • an interrupt output function is provided to output the notification after the notification registration is performed by interrupting the previous notification being output. Will be done.
  • the output of the earlier notification is interrupted, and the later notification is output with priority. Whether or not interrupt output is possible is determined based on the importance of each of the earlier notification and the later notification.
  • interrupt output is possible when the earlier notification being output is a notification of importance 2 or importance 3.
  • interrupt output is disabled.
  • interrupt output is possible when the earlier notification being output is the notification of importance 3.
  • interrupt output is disabled.
  • FIG. 9 is a diagram showing an example of a notification processing pattern.
  • Pattern 1 is a pattern in which notifications are immediately output (output in real time without stacking) in response to notification registration from the application. For example, when notification registration of a notification of importance 1 is performed, the notification is immediately output according to pattern 1.
  • Pattern 2 is a pattern in which notifications are stored (Stacked) in response to notification registration from the application. For example, when the total Context is DND and notification registration of a notification of importance 2 or importance 3 is performed, the notification is saved according to pattern 2. That is, the notification that was not output immediately according to the pattern 1 when the notification registration is performed is saved. Since the notification of importance 1 is output immediately, the notification of importance 2 and the notification of importance 3 are the targets of the stack.
  • Pattern 3 is a pattern that outputs the saved notification at the timing of Breaking Point. When it becomes Breaking Point, the notifications that have been stacked up to that point are output according to pattern 3. BreakingPoint represents the timing when the comprehensive Context changes to a state suitable for the output of the notification.
  • FIG. 10 is a diagram showing an example of Breaking Point.
  • Breaking Points the timing when the total Context changes from DND to Neutral, the timing when it changes from DND to Breaking Time, and the timing when it changes from Neutral to Breaking Time.
  • the notification of importance 2 is output from the stacked notifications. Notification of importance 3 is not output.
  • the notification of importance 2 and the notification of importance 3 that had been stacked are output.
  • FIG. 11 is a diagram showing an example of notification output.
  • Breaking Point is the timing of the time t1 when the total Context changes from DND to Neutral, the time t2 and time t4 when the total Context changes from Neutral to Breaking Time, and the time t6 when the total Context changes from DND to Breaking Time.
  • the notification of importance 1 is output immediately regardless of the judgment result of the comprehensive Context (“Go” in the figure).
  • the notification of importance 2 is stacked when the notification is registered at the time t0 to t1 when the total Context is DND, and is output at the timing of Breaking Point at time t1.
  • the notification of importance 2 is stacked when the notification is registered at the time t5 to t6 when the total Context is DND, and is output at the timing of Breaking Point at time t6. Notifications of importance 2 are also stacked when notification registration is performed at times t8 to t9 when the total Context is DND.
  • Notifications of importance 3 are stacked when notification registration is performed at the time t0 to t1 when the total Context is DND and the time t1 to t2 when the total Context is Neutral, and the timing of Breaking Point at time t2. Is output.
  • the notification of importance 3 is stacked when the notification is registered at the time t3 to t4 when the total Context is Neutral, and is output at the timing of Breaking Point at time t4.
  • the notification of importance 3 is stacked when the notification is registered at the time t5 to t6 when the total Context is DND, and is output at the timing of Breaking Point at time t6.
  • the notification of importance 3 is also stacked when the notification is registered at the time t7 to t8 when the total Context is Neutral and the time t8 to t9 when the total Context is DND.
  • the notification control server 1 controls the output of the notification according to the comprehensive Context representing the user's status and the importance of the notification. As a result, the notification control server 1 can output a notification of appropriate importance at an appropriate timing for the user.
  • the expiration date of each notification is set by the sender (registration source of notification) that registers the notification. Of the stacked notifications, the expired notifications are discarded.
  • Notifications without an expiration date may be discarded without stacking, or a predetermined time such as 24 hours may be set as the expiration date.
  • the expiration date may change depending on the importance.
  • the stacked notification is updated every time the notification is registered.
  • FIG. 12 is a block diagram showing an example of hardware configuration of the computers constituting the notification control server 1.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 55 is further connected to the bus 54.
  • An input unit 56 including a keyboard, a mouse, and the like, and an output unit 57 including a display, a speaker, and the like are connected to the input / output interface 55.
  • the input / output interface 55 is connected to a storage unit 58 composed of a hard disk, a non-volatile memory, or the like, a communication unit 59 composed of a network interface or the like, and a drive 60 for driving the removable media 61.
  • Each configuration of the notification control server 1 is realized by the CPU 51 executing, for example, a program stored in the storage unit 58.
  • the notification control server 1 may be configured by one computer having the configuration shown in FIG. 12 or may be configured by a plurality of computers.
  • FIG. 13 is a block diagram showing a functional configuration example of the notification control server 1.
  • the information processing unit 71 is realized in the notification control server 1.
  • the information processing unit 71 is composed of a detection result acquisition unit 91, a Context determination unit 92, a trigger generation unit 93, a notification acquisition unit 94, a notification management unit 95, a notification storage unit 96, a notification execution determination unit 97, and an output control unit 98. Will be done.
  • the detection result acquisition unit 91 is composed of a plurality of detection result acquisition units. In the example of FIG. 13, detection result acquisition units 91-1 to 91-3 are shown.
  • the detection result acquisition units 91-1 to 91-3 communicate with the device provided with the detectors 81-1 to 81-3 by controlling the communication unit 59, respectively, and the detectors 81-1 to 81- Receive the detection result transmitted from 3.
  • the detection result acquisition unit 91-1 communicates with the earphone 11 and receives the detection result transmitted from the earphone 11.
  • the earphone 11 transmits a detection result based on the sensor data measured by the sensor provided on the earphone 11.
  • the detector 81-1 provided on the earphone 11 detects, for example, a conversational state and a moving state.
  • the detection result acquisition unit 91-2 communicates with the mobile terminal 12 and receives the detection result transmitted from the mobile terminal 12.
  • the detector 81-2 provided on the mobile terminal 12 detects, for example, a location.
  • the detection result acquisition unit 91-3 communicates with the server and receives the detection result transmitted from the server.
  • the server that controls the execution of the application used by the user sends the detection result regarding the user's status detected on the server.
  • the detector 81-3 provided in the server that controls the execution of the application for example, the application operation is detected.
  • the detection result acquisition unit 91 acquires detection results related to the user's situation, such as the DND setting detection result, the conversation state detection result, the movement state detection result, the application operation detection result, and the location detection result. Information representing each detection result acquired by the detection result acquisition unit 91 is output to the Context determination unit 92.
  • the Context determination unit 92 determines the individual Context based on each detection result supplied from the detection result acquisition unit 91. Further, the Context determination unit 92 determines the total Context by combining all the individual Contexts, as described with reference to FIG. The determination result of the comprehensive Context is supplied to the trigger generation unit 93 and the notification execution determination unit 97. The Context determination unit 92 sequentially outputs the determination result of the total Context at each timing.
  • the trigger generation unit 93 generates a Breaking Point Trigger based on the determination result of the comprehensive Context and outputs it to the notification management unit 95.
  • the Breaking Point Trigger is a trigger signal representing the timing of the Breaking Point described with reference to FIG. 10 and the like.
  • the trigger generation unit 93 generates a Change DND Trigger based on the determination result of the comprehensive Context and outputs it to the output control unit 98.
  • Change DND Trigger is a trigger signal that represents the timing when the total Context changes to DND.
  • the output control unit 98 when Change DND Trigger is supplied during the output of a certain notification, the output of the notification is stopped.
  • the notification acquisition unit 94 communicates with the device that executes the application by controlling the communication unit 59, and receives the information regarding the notification registration sent from the application.
  • the information related to the notification registration includes information indicating the content of the notification as well as information on the application that is the transmission source.
  • the information regarding the notification registration received by the notification acquisition unit 94 is output to the notification management unit 95.
  • the notification management unit 95 outputs the information supplied from the notification acquisition unit 94 to the notification execution determination unit 97.
  • the notification management unit 95 outputs a notification that has not been processed by the notification execution determination unit 97 to the notification storage unit 96 as a notification to be output immediately, and stacks the notification.
  • the notification management unit 95 manages notifications based on the expiration date and the like.
  • the notification management unit 95 outputs the stacking notification information to the notification execution determination unit 97 in response to the Breaking Point Trigger being supplied from the trigger generation unit 93.
  • the notification execution determination unit 97 identifies the importance of the notification supplied from the notification management unit 95 and executes the output of the notification according to the importance of the notification and the determination result of the total Context by the Context determination unit 92. Judge whether or not.
  • the notification execution determination unit 97 functions as a control unit that controls the output of the notification.
  • the notification execution determination unit 97 is provided with information in advance indicating the relationship between each state of the comprehensive Context and the importance of the notification that can be output in each state, as described with reference to FIG. 7. ing.
  • the notification execution determination unit 97 determines whether or not to execute the output of the notification based on the information given in advance.
  • the information representing the relationship shown in FIG. 7 is the availability information used for determining whether or not to execute the output of the notification.
  • the notification execution determination unit 97 shows the relationship between the type of change in the total Context and the importance of the notification that can be output when each change occurs, as described with reference to FIG. Information is given.
  • the notification execution determination unit 97 determines whether or not to execute the output of the stacked notifications based on the information given in advance.
  • the information representing the relationship shown in FIG. 10 is the availability information used for determining whether or not to execute the output of the stacked notifications.
  • the notification execution determination unit 97 also controls interrupts described with reference to FIG.
  • the notification execution determination unit 97 outputs the information of the notification for executing the output to the output control unit 98.
  • the output control unit 98 outputs a notification from the earphone 11 according to the control by the notification execution determination unit 97. That is, the output control unit 98 communicates with the earphone 11 by controlling the communication unit 59, and transmits the notification information to the earphone 11 to output the notification.
  • the output control unit 98 stops the output of the notification when the Change DND Trigger is supplied from the trigger generation unit 93 during the output of a certain notification.
  • FIG. 14 is a block diagram showing a configuration example of the earphone 11.
  • the earphone 11 includes a CPU 101, a ROM 102, a RAM 103, a bus 104, an input / output I / F unit 105, a sound output unit 106, a sensor unit 107, a communication unit 108, a storage unit 109, and a power supply unit. It is composed of 110.
  • the configuration shown in FIG. 14 is housed in the left and right housings constituting the earphone 11.
  • the terminal for the left ear constituting the earphone 11 is referred to as an earphone 11L
  • the terminal for the right ear is referred to as an earphone 11R.
  • the CPU 101, ROM 102, and RAM 103 are connected to each other by the bus 104.
  • the notification output control unit 101A and the state detection unit 101B are realized in the CPU 101.
  • the notification output control unit 101A communicates with the notification control server 1 and outputs a notification from the sound output unit 106 according to the control by the notification control server 1.
  • the state detection unit 101B detects the user's state based on the sensor data supplied from the sensor unit 107. That is, when a predetermined detector among the detectors described with reference to FIG. 3 is provided in the earphone 11, the state detection unit 101B functions as the detector.
  • the state detection unit 101B detects the conversation state of the user based on the voice collected by the microphone 122 of the sensor unit 107.
  • the state detection unit 101B detects the movement state of the user based on the sensor data detected by the IMU 121 of the sensor unit 107.
  • the state detection unit 101B detects the user's location based on the position information detected by the positioning sensor 123 of the sensor unit 107.
  • All the detectors described with reference to FIG. 3 may be realized by the state detection unit 101B, and the determination of the comprehensive Context may be performed by the state detection unit 101B.
  • the input / output I / F section 105 is further connected to the bus 104.
  • a sound output unit 106, a sensor unit 107, a communication unit 108, and a storage unit 109 are connected to the input / output I / F unit 105.
  • the sound output unit 106 outputs, for example, the music played by the mobile terminal 12. Further, the sound output unit 106 outputs the notification voice according to the control by the notification output control unit 101A.
  • the sensor unit 107 is composed of an IMU (Inertial Measurement Unit) 121, a microphone 122, and a positioning sensor 123.
  • IMU Inertial Measurement Unit
  • the IMU121 is composed of an acceleration sensor, a gyro sensor, and the like.
  • the IMU 121 measures the acceleration, angular acceleration, etc. of the earphone 11.
  • the microphone 122 collects the user's voice and the surrounding environmental sound.
  • the positioning sensor 123 is composed of a GPS (Global Positioning System) sensor or the like.
  • the positioning sensor 123 measures the position of the user.
  • the sensor data detected by the sensor unit 107 is supplied to the state detection unit 101B and used to determine the user's state.
  • the sensor data detected by the sensor unit 107 is transmitted to the external device via the communication unit 108. It is transmitted and used to determine the user's status.
  • the communication unit 108 is composed of a left-right communication unit 131 and an external communication unit 132.
  • the left and right communication unit 131 is configured as a communication module compatible with short-range wireless communication such as NFMI.
  • the left and right communication unit 131 communicates with the earphone 11R and exchanges sensor data and the like.
  • the external communication unit 132 is configured as a communication module that supports wireless communication such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and cellular communication (LTE-Advanced, 5G, etc.), or wired communication.
  • the external communication unit 132 communicates with an external device and transmits / receives various information such as music data, sensor data, and notification information.
  • the storage unit 109 is composed of a semiconductor memory or the like. A program or the like executed by the CPU 101 is recorded in the storage unit 109.
  • the power supply unit 110 has a battery.
  • the power supply unit 110 supplies power to each unit of the earphone 11.
  • the mobile terminal 12 configured as a smartphone has the same configuration as the notification control server 1 described with reference to FIG.
  • the mobile terminal 12 may be configured by a device other than a smartphone, such as a tablet terminal or a PC.
  • step S1 the detection result acquisition unit 91 acquires the detection results transmitted from the detectors 81-1 to 81-3.
  • step S2 the Context determination unit 92 determines the individual Context based on each detection result supplied from the detection result acquisition unit 91, and determines the total Context by combining all the individual Contexts.
  • step S3 the notification acquisition unit 94 acquires the information regarding the notification registration sent from the application.
  • the acquired information regarding the notification registration is output to the notification execution determination unit 97 via the notification management unit 95.
  • step S4 the notification execution determination unit 97 identifies the importance of the notification for which the notification has been registered, and determines whether or not the notification can be output based on the importance of the notification and the determination result of the comprehensive Context. do.
  • step S5 the output control unit 98 causes the earphone 11 to output a notification. After the notification is output, the process returns to step S1 and the above processing is repeated.
  • the notification management unit 95 outputs the information of the notification for which the notification registration has been made to the notification storage unit 96 and stores (Stacks) it in step S6.
  • step S7 the notification management unit 95 determines whether or not it is the timing of Breaking Point.
  • step S8 When it is determined in step S7 that the timing of Breaking Point is due to the supply of Breaking Point Trigger from the trigger generation unit 93, in step S8, the notification management unit 95 sends the stacked notifications to the notification execution determination unit 97. Supply and output.
  • step S7 After the stacking notification is output, or if it is determined in step S7 that the timing is not the Breaking Point timing, the process returns to step S1 and the above processing is repeated.
  • the notification control server 1 can output a notification having appropriate contents for the user at an appropriate timing.
  • stacked notifications are output at the timing of Breaking Point.
  • the notifications may be simply output in the stack order, or the notifications having the highest importance may be output first.
  • a plurality of notifications may be grouped in a predetermined unit and output in a group unit.
  • FIG. 16 is a diagram showing an example of grouping.
  • the stacked notifications are grouped by importance and by source (each application). For example, the notifications included in the left group are output in order.
  • the notification of importance 1 is output from the notification group whose source is application A, and thereafter, the notification group whose source is application B and the source are application C. It is output in the order of notification groups. After the output of the notification of importance 1 is completed, the notification of importance 2 and the notification of importance 3 are output in order for each group.
  • the user may be able to set which application's notification is to be output first.
  • the output may be performed in the order of notifications with the shortest output time instead of the stack order.
  • the notifications with the shortest elapsed time since the notification registration was made may be output in that order.
  • Some notifications such as news notifications, have little benefit to users other than the latest notifications. It may be possible to set for each application so that it will not be stacked if it is not output immediately when a notification is registered.
  • notification output is stopped when the total Context changes to DND.
  • the notification whose output has been stopped may be discarded as it is, or the output may be restarted at a timing such as Breaking Point.
  • the processing of the notification during output may be changed as appropriate according to how the overall Context changes or the importance of the notification during output.
  • the output is stopped if the notification being output is a notification of importance 3.
  • the output is stopped if the notification being output is a notification of importance 2.
  • the device to be the output destination of the notification is assumed to be the earphone 11
  • various devices capable of outputting audio can be used as the output destination device.
  • the output destination device may be switched according to the state of the user.
  • FIG. 17 is a diagram showing a configuration example of a notification system using a multi-device.
  • the TV 13, the PC 14, and the smart speaker 15 are connected to the notification control server 1 as notification output destination devices.
  • Each device shown in FIG. 17 is a device that can output audio and is used by the same user.
  • Each device of the earphone 11 to the smart speaker 15 is provided with a detector, and the detection result of the user's state is transmitted to the notification control server 1.
  • the notification control server 1 the total Context is determined by combining the individual Contexts detected in each of the earphone 11 to the smart speaker 15, and the output of the notification is controlled.
  • the mobile terminal 12 when the user is operating the mobile terminal 12, the mobile terminal 12 is used as the notification output destination device, and when the user is operating the TV 13, the TV 13 is used as the notification output destination device. As a result, the output destination device can be switched.
  • the number of users who can hear the notification may be multiple as shown in FIG. 18 instead of one.
  • the notification output of the notification to the user A wearing the earphone 11A and the notification to the user B wearing the earphone 11B is controlled by the notification control server 1.
  • the output of the notification is controlled based on the state of user A and the state of user B.
  • FIG. 19 is a diagram showing an example of notification to a plurality of users.
  • the state of the father is determined based on the detection result by the earphone 11, and the state of the son is determined based on the detection result by the TV 13.
  • the father's condition changes from DND to Breaking Time and then from Breaking Time to DND.
  • My son's condition is always Neutral.
  • the earphone 11 worn by the father follows the control of the notification control server 1 and outputs a notification that "the child seems to have something to do”.
  • the notification control server 1 outputs a notification that "the child seems to have something to do”.
  • the TV 13 used by his son outputs a notification that "I can talk to my dad.”
  • notifications to a plurality of users may be output from the device used by each user based on the states of the plurality of users.
  • the notification management unit 95 (FIG. 13) of the notification control server 1 manages each notification for which notification registration has been performed according to the content specified by the attribute information.
  • attribute information for example, "update”, “real time”, and “no stack” are set in addition to the "expiration date”.
  • Update means that the old notification is discarded when the notification is registered from the same sender.
  • notification with the attribute information of "update” is registered, the notification registered from the same source before that is discarded and only the latest notification is stacked.
  • Real-time means that when notification registration is performed, it will be output immediately.
  • No Stack means that Stack will not be performed even if the output cannot be performed immediately. If a notification with the attribute information of "No Stack" is registered and cannot be output immediately, the notification will be discarded.
  • FIG. 20 is a diagram showing another example of implementation.
  • the information processing unit 71 can be realized in the earphone 11.
  • the information processing unit 71 is realized in the earphone 11 by executing a predetermined program by the CPU 101 of FIG.
  • the information processing unit 71 can be realized in the mobile terminal 12.
  • the information processing unit 71 is realized in the mobile terminal 12 by executing a predetermined program by the CPU of the mobile terminal 12.
  • the entire configuration of the information processing unit 71 may not be realized in one device, but may be shared and realized in a plurality of devices.
  • FIG. 21 is a diagram showing another example of implementation.
  • the information processing unit 71A and the information processing unit 71B realize the entire configuration of FIG.
  • the information processing unit 71A is provided with a detection result acquisition unit 91 and a Context determination unit 92, and the information processing unit 71B includes a trigger generation unit 93, a notification acquisition unit 94, a notification management unit 95, a notification storage unit 96, and a notification execution determination.
  • a unit 97 and an output control unit 98 are provided.
  • detectors 81-1 to 81-3 are provided in the information processing unit 71A.
  • the information processing unit 71A is realized by the earphone 11, and the information processing unit 71B is realized by the notification control server 1.
  • the configuration of the information processing unit 71 is plurality. It is possible to share and realize in the device.
  • the combination of the functional unit included in the information processing unit 71A and the functional unit included in the information processing unit 71B can be arbitrarily changed.
  • the information processing unit 71A is provided with only the detection result acquisition unit 91
  • the Context determination unit 92 includes a trigger generation unit 93, a notification acquisition unit 94, a notification management unit 95, a notification storage unit 96, a notification execution determination unit 97, and the like. And may be provided in the information processing unit 71B together with the output control unit 98.
  • the configuration of the information processing unit 71 may be shared and realized by three or more devices instead of the two devices.
  • a notification asking the user for a response may be given instead of a notification that presents information.
  • the response by the user may be performed by voice by uttering a voice, or by moving the body by shaking the head or touching a predetermined position of the housing of the earphone 11. May be good.
  • a predetermined application may be started and an action may be performed in response to a response from the user.
  • Actions by the application include playing music, sending emails, setting alarms, and so on.
  • the device can be operated by voice or shaking the head, it may be possible to cancel the notification being output.
  • the notification filter may be set so that the notification from the same source is not output after that.
  • Such a notification filter may be set by an interactive interaction between the user and the earphone 11.
  • the installed program is recorded and provided on the removable media 61 shown in FIG. 12, which consists of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a semiconductor memory, or the like. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM 52 or the storage unit 58.
  • the program executed by the computer may be a program in which processing is performed in chronological order in the order described in this specification, or processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the control unit controls the output of the notification based on the first possibility information indicating the relationship between each of the notification states and the importance of the notification that can be output in each of the notification states.
  • the information processing device further comprising a notification management unit that stores information related to the notification that was not output when the notification was registered.
  • a notification management unit that stores information related to the notification that was not output when the notification was registered.
  • the control unit outputs the stored notification at a timing when the notification state of the user changes to a state suitable for outputting the notification.
  • the control unit is based on the second possibility / absence information indicating the relationship between the type of change in the notification state and the importance of the notification that can be output when each change in the notification state occurs.
  • the information processing device according to (5) above, which controls the output of the stored notification.
  • (7) The information processing device according to any one of (1) to (6), wherein the control unit controls the output of the notification based on the respective states of the plurality of users.
  • the output device is An information processing device that controls the output of the notification according to the state of the user determined based on a plurality of types of detection results regarding the user's situation and the importance set for each notification to the user.
  • An output method that outputs the notification by voice according to control.
  • To the computer of the output device An information processing device that controls the output of the notification according to the state of the user determined based on a plurality of types of detection results regarding the user's situation and the importance set for each notification to the user.
  • Notification control server 11 earphones, 12 mobile terminals, 71 information processing unit, 81-1 to 81-3 detectors, 91-1 to 91-3 detection result acquisition unit, 92 Context judgment, 93 trigger generation unit, 94 notifications Acquisition unit, 95 notification management unit, 96 notification storage unit, 97 notification execution judgment unit, 98 output control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、適切な内容の音声による通知を適切なタイミングで出力することができるようにする情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システムに関する。 本技術の一側面の情報処理装置は、ユーザの状況に関する複数種類の検出結果に基づいて判定されたユーザの状態と、ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による通知の出力を制御する。本技術は、音声による通知をユーザが装着するヘッドフォンから出力させる装置に適用することができる。

Description

情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム
　本技術は、特に、適切な内容の音声による通知を適切なタイミングで出力することができるようにした情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システムに関する。
　スマートフォンなどのデバイスにおいては、インストールされたアプリケーションからの各種の通知がプッシュ的に行われる。ユーザは、通知を受けるための操作を自ら行うことなく、スマートフォンの画面上で、アプリケーションからの通知の内容を確認することができる。
　必要な時に、必要な情報を簡単に受け取りたいというニーズがある。
　特許文献１には、歩行動作、位置、スケジュールなどから環境を解析し、コンテンツを再生する技術が開示されている。特許文献２には、生活パターンに基づいてコンテンツを推薦する技術が開示されている。
特開２００５－２９２７３０号公報 特開２０１３－０７３３７８号公報
　完全独立型のイヤホン（インナーイヤーヘッドホン）などの普及に伴い、イヤホンを装着している時間が長くなってきている。このため、アプリケーションの通知を、画面上で行うのではなく、イヤホンから出力する音声を用いて行うことがさらに一般的になるものと考えられる。
　音声によって通知を行う場合、音声の再生時間の分だけそれぞれの通知に時間がかかることから、必要な時に必要な通知を提供するということが、画面上に通知を表示する場合より重要になる。
　本技術はこのような状況に鑑みてなされたものであり、適切な内容の音声による通知を適切なタイミングで出力することができるようにするものである。
　本技術の第１の側面の情報処理装置は、ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する制御部を備える。
　本技術の第２の側面の出力装置は、ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する出力制御部を備える。
　本技術の第３の側面の通知システムは、ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する情報処理装置と、音声による前記通知を前記情報処理装置による制御に従って出力する、前記ユーザが使用する出力装置とを含む。
　本技術においては、ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力が制御される。
本技術の一実施形態に係る通知システムの構成例を示す図である。 ユーザに対する通知の例を示す図である。 ユーザの状態の判定に用いられる情報の例を示す図である。 検出結果の変化の例を示す図である。 Contextと通知の関係の例を示す図である。 総合Contextの判定結果の例を示す図である。 重要度毎の出力の例を示す図である。 通知の割り込みの制御の例を示す図である。 通知の処理のパターンの例を示す図である。 Breaking Pointの例を示す図である。 通知の出力の例を示す図である。 通知制御サーバを構成するコンピュータのハードウェアの構成例を示すブロック図である。 通知制御サーバの機能構成例を示すブロック図である。 イヤホンの構成例を示すブロック図である。 通知制御サーバの動作について説明するフローチャートである。 グループ化の例を示す図である。 マルチデバイスを用いた通知システムの構成例を示す図である。 マルチデバイスを用いた通知システムの構成例を示す図である。 複数人のユーザに対する通知の例を示す図である。 実施の他の例を示す図である。 実施の他の例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．通知システムの構成
　２．ユーザの状態の判定
　３．通知の重要度
　４．通知のStack
　５．各装置の構成
　６．通知制御サーバの動作
　７．変形例
＜通知システムの構成＞
　図１は、本技術の一実施形態に係る通知システムの構成例を示す図である。
　図１の通知システムは、通知制御サーバ１と、ユーザ側の構成としてのイヤホン（インナーイヤーヘッドホン）１１および携帯端末１２とにより構成される。図１の例においては、イヤホン１１はいわゆる完全独立型のイヤホンである。
　イヤホン１１と携帯端末１２は、インターネットなどよりなるネットワーク２１を介して通知制御サーバ１に接続される。イヤホン１１がネットワーク２１に直接接続されるようにしてもよいし、携帯端末１２を介して接続されるようにしてもよい。イヤホン１１と携帯端末１２は、Bluetooth（登録商標）、無線LAN(Local Area Network)、セルラー方式の通信（LTE-Advancedや5G等）などの無線通信を介して接続される。イヤホン１１と携帯端末１２が有線のケーブルを介して接続されるようにしてもよい。
　通知制御サーバ１は、イヤホン１１を装着するユーザに対する通知の出力を制御する情報処理装置である。通知制御サーバ１による制御に従って、図２の吹き出しに示すように、イヤホン１１が出力する音声によってユーザに対する通知が行われる。図２の例においては、ユーザが登録しておいたスケジュールに関する通知が行われている。
　ユーザが利用するアプリケーションの通知、サービスの通知、広告の通知などの各種の通知が、ユーザの操作によらずに音声で行われる。
　ユーザが利用するアプリケーション（アプリケーションプログラム）には、メーラー、スケジュール管理アプリケーション、連絡先管理アプリケーション、ドキュメント作成アプリケーション、OS(Operating System)などの各種のアプリケーションが含まれる。アプリケーションは、携帯端末１２にインストールされているいわゆるネイティブアプリケーションであってもよいし、ネットワーク２１上のサーバ上で実行されるWebアプリケーションであってもよい。
　ユーザは、イヤホン１１を常時装着した状態で生活することで、携帯端末１２などを操作して画面を見ることなく、自分に関係のある各種の通知をいわゆるSUI(Sound User Interface)によって受けることができる。
　通知制御サーバ１による通知の制御は、ユーザの状態に基づいて、ユーザにとって適切な内容の情報を、ユーザにとって適切なタイミングで届けるようにして行われる。通知制御サーバ１においては、各種のセンサなどの検出結果に基づいてユーザの状態が判定される。センサには、加速度センサ、ジャイロセンサ、GPSセンサなどが含まれる。
＜ユーザの状態の判定＞
　図３は、ユーザの状態の判定に用いられる情報の例を示す図である。
　図３に示すように、DND設定検出器Ｄ１、会話検出器Ｄ２、移動状態検出器Ｄ３、アプリ動作検出器Ｄ４、位置検出器Ｄ５によるそれぞれの検出結果がユーザの状態の判定に用いられる。
　DND設定検出器Ｄ１は、DND(Do Not Disturb)の設定の状態を検出する。DNDの設定は、ユーザの状態を後述するDNDとして判定する機能のON/OFFの設定である。DNDの設定が例えばONである場合、ユーザの状態をDNDとして判定することが許可される。DND設定検出器Ｄ１の検出結果は、矢印Ａ１の先に示すように、DNDの設定のON/OFFとなる。
　会話検出器Ｄ２は、ユーザの会話の状態を検出する。会話検出器Ｄ２が検出する会話には、ユーザがFace To Faceで行っている会話だけでなく、通話アプリケーションなどの、携帯端末１２のアプリケーションを用いて行われる会話も含まれる。会話検出器Ｄ２の検出結果には、矢印Ａ２の先に示すように、本人による発話、他者による発話、無言、発話外などが含まれる。
　移動状態検出器Ｄ３は、ユーザの移動の状態を検出する。移動状態検出器Ｄ３の検出結果には、矢印Ａ３の先に示すように、歩行、走る、止まっている、または公共交通機関による移動中などが含まれる。
　アプリ動作検出器Ｄ４は、ユーザが利用するアプリケーション（アプリ）の動作の状態を検出する。アプリ動作検出器Ｄ４は、例えば、アプリケーションを実行するサーバとの間で情報の送受信を行うWebAPIによって実現される。アプリ動作検出器Ｄ４の検出結果には、矢印Ａ４の先に示すように、会議参加中、通話中、電話会議、動画視聴中、音楽視聴中などが含まれる。
　位置検出器Ｄ５は、ユーザの場所を検出する。位置検出器Ｄ５の検出結果には、矢印Ａ５の先に示すように、自宅、職場、外出中、または不定（設定なし）などが含まれる。
　このように、会話検出器Ｄ２、移動状態検出器Ｄ３、アプリ動作検出器Ｄ４、位置検出器Ｄ５のそれぞれにより、ユーザの状況に関する複数種類の検出結果が求められる。
　図３に示すそれぞれの検出器は、通知制御サーバ１、イヤホン１１、携帯端末１２などの各種の装置において実現される。それぞれの検出器は、イヤホン１１や携帯端末１２などのデバイスに設けられるセンサにより計測されたセンサデータに基づいて、または、ネットワーク２１上のサーバから送信されてきた情報に基づいて、それぞれの対象を検出する。
　図３に示す対象以外の対象を検出する検出器が設けられ、その検出器による検出結果がユーザの状態の判定に用いられるようにしてもよい。
　図４は、検出結果の変化の例を示す図である。
　図４において、縦方向が時間方向を示す。各列は、図３の各検出器の検出結果を表す。例えば会話検出器Ｄ２による会話の状態の検出結果は、あるタイミングで「会話有」の状態から「会話無」の状態に変化し、「会話無」の状態が所定の時間だけ続いた後、「会話有」の状態に再度変化するものとなっている。
　それぞれの検出結果に基づいて、ユーザの状態が、予め設定された３種類の状態のうちのいずれの状態であるのかが判定される。また、一点鎖線で示すように、あるタイミングにおけるユーザの状態は、各検出器の検出結果を用いて判定された状態を組み合わせることによって総合的に判定される。
　図５は、Contextと通知の関係の例を示す図である。
　ユーザの状態であるContextとして、「DND」、「Neutral」、「Breaking Time」の３つの状態が設定される。
　「DND」は、通知を極力抑える状態である。ContextがDNDであるときには、スケジュールの通知などの、特に重要であると想定される通知だけが出力される。
　「Neutral」は、絞り込んで通知を行う状態である。ContextがNeutralであるときには、メールの内容などの通知が出力される。
　「Breaking Time」は、通知を積極的に行う状態である。ContextがBreaking Timeであるときには、ニュースの内容などの通知が出力される。
　このように、「DND」、「Neutral」、「Breaking Time」は、ユーザにとっての通知の受け取りやすさの程度に応じた状態を表す。通知の受け取りやすさの程度に応じた状態として４つ以上の状態が設定されるようにしてもよい。
　それぞれの検出結果に基づいて、Contextが「DND」、「Neutral」、「Breaking Time」のうちのいずれの状態であるのかが判定される。図４を参照して説明したそれぞれの検出結果を表すブロックのうち、色を付して示すブロックはDNDとして判定された検出結果を表し、ハッチを付して示すブロックはBreaking Timeとして判定された検出結果を表す。それ以外のブロック（色もハッチも付されていないブロック）はNeutralとして判定された検出結果を表す。以下の図においても同様である。
　図４の一点鎖線で示すタイミングにおいては、移動状態の検出結果である「電車」に基づいてContextがBreaking Timeとして判定され、アプリ動作の検出結果である「動画視聴」に基づいてContextがDNDとして判定されている。それ以外の検出結果に基づいてContextがNeutralとして判定されている。このようなそれぞれの検出結果に基づくContextの判定結果を組み合わせることによって、総合的なユーザの状態を表すContextが判定される。
　以下、適宜、それぞれの検出結果に基づいて判定されたContextを個別Contextといい、個別Contextの判定結果を組み合わせることによって判定される総合的なContextを総合Contextという。
　図６は、総合Contextの判定結果の例を示す図である。
　図６に示すそれぞれの検出結果は図４を参照して説明した検出結果と同じである。それぞれの検出結果に基づいて、各時間帯の個別Contextが以下のように判定される。
　・DND設定の検出結果に基づく個別Context
　時刻ｔ０乃至ｔ９：Neutral
　・会話状態の検出結果に基づく個別Context
　時刻ｔ０乃至ｔ１：検出結果が「会話有」であるためDND
　時刻ｔ１乃至ｔ８：検出結果が「会話無」であるためNeutral
　時刻ｔ８乃至ｔ９：検出結果が「会話有」であるためDND
　・移動状態の検出結果に基づく個別Context
　時刻ｔ０乃至ｔ２：検出結果が「歩行」であるためNeutral
　時刻ｔ２乃至ｔ３：検出結果が「エレベーター」であるためBreaking Time
　時刻ｔ３乃至ｔ４：検出結果が「歩行」であるためNeutral
　時刻ｔ４乃至ｔ７：検出結果が「電車」であるためBreaking Time
　時刻ｔ７乃至ｔ９：検出結果が「歩行」と「座る」であるためNeutral
　・アプリ動作の検出結果に基づく個別Context
　時刻ｔ０乃至ｔ５：Neutral
　時刻ｔ５乃至ｔ６：検出結果が「動画視聴」であるためDND
　時刻ｔ６乃至ｔ９：Neutral
　・場所の検出結果に基づく個別Context
　時刻ｔ０乃至ｔ９：Neutral
　このような個別Contextの判定結果が得られた場合、各時間の総合Contextは図６の右端に示すように判定される。
　時刻ｔ０乃至ｔ１：DND
　会話状態の検出結果に基づく個別ContextがDNDとして判定されているため、総合ContextはDNDとして判定される。
　時刻ｔ１乃至ｔ２：Neutral
　全ての個別ContextがNeutralとして判定されているため、総合ContextはNeutralとして判定される。
　時刻ｔ２乃至ｔ３：Breaking Time
　移動状態の検出結果に基づく個別ContextがBreaking Timeとして判定されるとともに、それ以外の個別ContextがNeutralとして判定されているため、総合ContextはBreaking Timeとして判定される。
　時刻ｔ３乃至ｔ４：Neutral
　全ての個別ContextがNeutralとして判定されているため、総合ContextはNeutralとして判定される。
　時刻ｔ４乃至ｔ５：Breaking Time
　移動状態の検出結果に基づく個別ContextがBreaking Timeとして判定されるとともに、それ以外の個別ContextがNeutralとして判定されているため、総合ContextはBreaking Timeとして判定される。
　時刻ｔ５乃至ｔ６：DND
　アプリ動作の検出結果に基づく個別ContextがDNDとして判定されているため、総合ContextはDNDとして判定される。
　時刻ｔ６乃至ｔ７：Breaking Time
　移動状態の検出結果に基づく個別ContextがBreaking Timeとして判定されるとともに、それ以外の個別ContextがNeutralとして判定されているため、総合ContextはBreaking Timeとして判定される。
　時刻ｔ７乃至ｔ８：Neutral
　全ての個別ContextがNeutralとして判定されているため、総合ContextはNeutralとして判定される。
　時刻ｔ８乃至ｔ９：DND
　会話状態の検出結果に基づく個別ContextがDNDとして判定されているため、総合ContextはDNDとして判定される。
　以上のように、DNDとして判定された個別Contextを含む時間の総合Contextは、DNDとして判定される。
　また、DNDとして判定された個別Contextを含まない時間のうち、Breaking Timeとして判定された個別Contextを含む時間の総合Contextは、Breaking Timeとして判定される。
　DNDとして判定された個別ContextとBreaking Timeとして判定された個別Contextを含まない時間の総合Contextは、Neutralとして判定される。
　通知制御サーバ１においては、ユーザの状態がこのようにして判定され、通知の出力の制御に用いられる。なお、個別Contextがどのような状態にあるときに総合ContextがDNDなどとして判定されるのかが学習され、変化するようにしてもよい。
＜通知の重要度＞
　通知制御サーバ１においては、それぞれの通知の重要度が判定され、判定された重要度にも基づいて、通知の出力が制御される。
　図７は、重要度毎の出力の例を示す図である。
　図７に示すように、それぞれの通知には、重要度１、重要度２、重要度３の３段階の重要度が設定される。
　重要度１の通知は、ユーザにとって必須であり、通知漏れがあるとユーザに不利益があると想定される通知である。災害情報、着信、会議のアラームの通知などが、重要度１の通知となる。
　重要度２の通知は、ユーザにとって有益であると想定される通知である。メールの内容、今日の予定のサマリの通知などが、重要度２の通知となる。
　重要度３の通知は、ユーザにとって望ましいと想定される通知である。新曲発売のお知らせなどのレコメンドの通知などが、重要度３の通知となる。
　通知の重要度と総合Contextに応じて、通知の可否が決定される。図７において、各欄に示す白丸は通知の出力が可能であることを表し、バツは通知の出力が不可であることを表す。図７は、総合Contextのそれぞれの状態と、それぞれの状態のときに出力可能な通知の重要度との関係を表す。
　総合ContextがDNDである場合、重要度１の通知の出力が可能とされ、重要度２の通知と重要度３の通知の出力が不可とされる。
　総合ContextがNeutralである場合、重要度１の通知と重要度２の通知の出力が可能とされ、重要度３の通知の出力が不可とされる。
　総合ContextがBreaking Timeである場合、全ての通知の出力が可能とされる。
　例えば、会話状態が「会話有」であることから総合ContextがDNDであると判定された図６の時刻ｔ０乃至ｔ１の時間においては、ユーザにとって必須な災害情報などの通知だけが出力されることになる。
　図８は、通知の割り込みの制御の例を示す図である。
　通知制御サーバ１に対しては、ユーザが利用する様々なアプリケーションの様々な通知の登録が順次行われる。通知登録に関する情報が、様々なアプリケーションから通知制御サーバ１に対して送信されてくる。通知制御サーバ１は、送信されてきた情報を受信することによってアプリケーションからの通知登録を受け付け、それぞれの通知の出力を制御する。
　例えば、ある通知の出力中に他の通知の通知登録が行われた場合に、出力中の先の通知に割り込む形で、通知登録が行われた後の通知を出力させる割り込み出力の機能が用意される。先の通知の出力が中断され、後の通知が優先して出力される。割り込み出力の可否が、先の通知と後の通知のそれぞれの重要度に基づいて判定される。
　図８の上から３行目に示すように、後の通知の重要度が重要度１である場合、出力中の先の通知が重要度１、重要度２、重要度３のいずれの通知であるときであっても、割り込み出力が可能とされる。
　後の通知の重要度が重要度２である場合、出力中の先の通知が重要度２または重要度３の通知であるときには、割り込み出力が可能とされる。出力中の先の通知が重要度１の通知であるときには、割り込み出力が不可とされる。
　後の通知の重要度が重要度３である場合、出力中の先の通知が重要度３の通知であるときには、割り込み出力が可能とされる。出力中の先の通知が重要度１または重要度２の通知であるときには、割り込み出力が不可とされる。
　図８の例においては、先の通知の重要度と後の通知の重要度が同じである場合に割り込み出力が可能とされるものとしたが、不可とされるようにしてもよい。
＜通知のStack＞
　図９は、通知の処理のパターンの例を示す図である。
　パターン１は、アプリケーションからの通知登録に応じて、通知をすぐに出力（Stackすることなくリアルタイムで出力）するパターンである。例えば重要度１の通知の通知登録が行われた場合、その通知は、パターン１に従ってすぐに出力される。
　パターン２は、アプリケーションからの通知登録に応じて、通知を保存（Stack）するパターンである。例えば総合ContextがDNDであり、重要度２または重要度３の通知の通知登録が行われた場合、その通知は、パターン２に従って保存される。すなわち、通知登録が行われたときにパターン１に従ってすぐに出力されなかった通知が保存される。重要度１の通知はすぐに出力されるから、重要度２の通知と重要度３の通知がStackの対象となる。
　パターン３は、保存しておいた通知をBreaking Pointのタイミングで出力するパターンである。Breaking Pointになった場合、それまでにStackされていた通知が、パターン３に従って出力される。Breaking Pointは、総合Contextが通知の出力に適した状態に変化したタイミングを表す。
　図１０は、Breaking Pointの例を示す図である。
　総合ContextがDNDからNeutralに変化したタイミング、DNDからBreaking Timeに変化したタイミング、および、NeutralからBreaking Timeに変化したタイミングの３種類のタイミングがBreaking Pointとして定義される。
　総合ContextがDNDからNeutralに変化したBreaking Pointにおいては、Stackされていた通知のうち、重要度２の通知が出力される。重要度３の通知は出力されない。
　総合ContextがDNDからBreaking Timeに変化したBreaking Pointと、NeutralからBreaking Timeに変化したBreaking Pointにおいては、Stackされていた重要度２の通知と重要度３の通知が出力される。
　図１１は、通知の出力の例を示す図である。
　図１１の左端に示す総合Contextの判定結果は、図６を参照して説明した判定結果と同じである。総合ContextがDNDからNeutralに変化した時刻ｔ１、NeutralからBreaking Timeに変化した時刻ｔ２と時刻ｔ４、DNDからBreaking Timeに変化した時刻ｔ６のそれぞれのタイミングがBreaking Pointとなる。
　重要度１の通知は、総合Contextの判定結果によらずに、すぐに出力される（図中「Go」）。
　重要度２の通知は、総合ContextがDNDである時刻ｔ０乃至ｔ１の時間に通知登録が行われた場合にはStackされ、時刻ｔ１のBreaking Pointのタイミングで出力される。
　また、重要度２の通知は、総合ContextがDNDである時刻ｔ５乃至ｔ６の時間に通知登録が行われた場合にはStackされ、時刻ｔ６のBreaking Pointのタイミングで出力される。重要度２の通知は、総合ContextがDNDである時刻ｔ８乃至ｔ９の時間に通知登録が行われた場合にもStackされる。
　重要度３の通知は、総合ContextがDNDである時刻ｔ０乃至ｔ１の時間と、Neutralである時刻ｔ１乃至ｔ２の時間に通知登録が行われた場合にはStackされ、時刻ｔ２のBreaking Pointのタイミングで出力される。
　また、重要度３の通知は、総合ContextがNeutralである時刻ｔ３乃至ｔ４の時間に通知登録が行われた場合にはStackされ、時刻ｔ４のBreaking Pointのタイミングで出力される。
　重要度３の通知は、総合ContextがDNDである時刻ｔ５乃至ｔ６の時間に通知登録が行われた場合にはStackされ、時刻ｔ６のBreaking Pointのタイミングで出力される。重要度３の通知は、総合ContextがNeutralである時刻ｔ７乃至ｔ８の時間とDNDである時刻ｔ８乃至ｔ９の時間に通知登録が行われた場合にもStackされる。
　このように、通知制御サーバ１は、ユーザの状態を表す総合Contextと、通知の重要度とに応じて通知の出力を制御する。これにより、通知制御サーバ１は、適切な重要度の通知を、ユーザにとって適切なタイミングで出力させることが可能となる。
　通知の有効期限を設定することができるようにしてもよい。通知登録を行う送信元（通知の登録元）により、それぞれの通知の有効期限が設定される。Stackされた通知のうち、有効期限が経過した通知は破棄される。
　有効期限の設定のない通知については、Stackすることなく破棄されるようにしてもよいし、２４時間といったような所定の時間が有効期限として設定されるようにしてもよい。重要度毎に有効期限が変わるようにしてもよい。
　送信元が同一の通知については、最新の通知のみがStackされ、それ以前の通知については破棄されるようにしてもよい。この場合、通知登録が行われる毎に、Stackされる通知が更新される。
＜各装置の構成＞
・通知制御サーバ１の構成
　図１２は、通知制御サーバ１を構成するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
　バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７が接続される。また、入出力インタフェース５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、リムーバブルメディア６１を駆動するドライブ６０が接続される。
　CPU５１が、例えば、記憶部５８に記憶されているプログラムを実行することにより、通知制御サーバ１の各構成が実現される。
　通知制御サーバ１が、図１２に示す構成を有する１台のコンピュータにより構成されるようにしてもよいし、複数台のコンピュータにより構成されるようにしてもよい。
　図１３は、通知制御サーバ１の機能構成例を示すブロック図である。
　図１３に示すように、通知制御サーバ１においては情報処理部７１が実現される。情報処理部７１は、検出結果取得部９１、Context判定部９２、トリガ生成部９３、通知取得部９４、通知管理部９５、通知保存部９６、通知実行判定部９７、および出力制御部９８により構成される。
　検出結果取得部９１は、複数の検出結果取得部により構成される。図１３の例においては、検出結果取得部９１－１乃至９１－３が示されている。検出結果取得部９１－１乃至９１－３は、それぞれ、通信部５９を制御することによって、検出器８１－１乃至８１－３が設けられるデバイスと通信を行い、検出器８１－１乃至８１－３から送信されてきた検出結果を受信する。
　検出器８１－１がイヤホン１１に設けられる場合、検出結果取得部９１－１は、イヤホン１１と通信を行い、イヤホン１１から送信されてきた検出結果を受信する。イヤホン１１からは、イヤホン１１に設けられたセンサにより計測されたセンサデータに基づく検出結果が送信されてくる。イヤホン１１に設けられる検出器８１－１においては、例えば、会話の状態、移動の状態が検出される。
　また、検出器８１－２が携帯端末１２に設けられる場合、検出結果取得部９１－２は、携帯端末１２と通信を行い、携帯端末１２から送信されてきた検出結果を受信する。携帯端末１２に設けられる検出器８１－２においては、例えば場所が検出される。
　検出器８１－３がアプリケーションを実行するネットワーク２１上のサーバに設けられる場合、検出結果取得部９１－３は、そのサーバと通信を行い、サーバから送信されてきた検出結果を受信する。ユーザが利用するアプリケーションの実行を制御するサーバからは、そのサーバにおいて検出された、ユーザの状況に関する検出結果が送信されてくる。アプリケーションの実行を制御するサーバに設けられる検出器８１－３においては、例えばアプリ動作が検出される。
　検出結果取得部９１により、DND設定の検出結果、会話状態の検出結果、移動状態の検出結果、アプリ動作の検出結果、場所の検出結果などの、ユーザの状況に関する検出結果がそれぞれ取得される。検出結果取得部９１により取得されたそれぞれの検出結果を表す情報はContext判定部９２に出力される。
　Context判定部９２は、検出結果取得部９１から供給されたそれぞれの検出結果に基づいて個別Contextを判定する。また、Context判定部９２は、図６を参照して説明したように、全ての個別Contextを組み合わせることによって総合Contextを判定する。総合Contextの判定結果は、トリガ生成部９３と通知実行判定部９７に供給される。Context判定部９２からは、各タイミングの総合Contextの判定結果が順次出力される。
　トリガ生成部９３は、Breaking Point Triggerを総合Contextの判定結果に基づいて生成し、通知管理部９５に出力する。Breaking Point Triggerは、図１０等を参照して説明したBreaking Pointのタイミングを表すトリガ信号である。
　また、トリガ生成部９３は、Change DND Triggerを総合Contextの判定結果に基づいて生成し、出力制御部９８に出力する。Change DND Triggerは、総合ContextがDNDに変化したタイミングを表すトリガ信号である。出力制御部９８においては、ある通知の出力中にChange DND Triggerが供給された場合、通知の出力が停止される。
　通知取得部９４は、通信部５９を制御することによってアプリケーションを実行するデバイスとの間で通信を行い、アプリケーションから送信されてきた通知登録に関する情報を受信する。通知登録に関する情報には、通知の内容を表す情報とともに、送信元となるアプリケーションの情報などが含まれる。通知取得部９４により受信された通知登録に関する情報は通知管理部９５に出力される。
　通知管理部９５は、通知取得部９４から供給された情報を通知実行判定部９７に出力する。通知管理部９５は、すぐに出力する通知として通知実行判定部９７により処理されなかった通知を通知保存部９６に出力し、Stackする。有効期限などに基づく通知の管理などが通知管理部９５により行われる。通知管理部９５は、Breaking Point Triggerがトリガ生成部９３から供給されたことに応じて、Stackしていた通知の情報を通知実行判定部９７に出力する。
　通知実行判定部９７は、通知管理部９５から供給された通知の重要度を特定し、通知の重要度と、Context判定部９２による総合Contextの判定結果に応じて、通知の出力を実行するか否かを判定する。通知実行判定部９７は、通知の出力を制御する制御部として機能する。
　通知実行判定部９７には、図７を参照して説明したような、総合Contextのそれぞれの状態と、それぞれの状態のときに出力可能な通知の重要度との関係を表す情報が予め与えられている。通知実行判定部９７は、予め与えられている情報に基づいて、通知の出力を実行するか否かを判定する。図７に示す関係を表す情報は、通知の出力を実行するか否かを判定することに用いられる可否情報となる。
　また、通知実行判定部９７には、図１０を参照して説明したような、総合Contextの変化の種類と、それぞれの変化があったときに出力可能とする通知の重要度との関係を表す情報が与えられている。通知実行判定部９７は、予め与えられている情報に基づいて、Stackされている通知の出力を実行するか否かを判定する。図１０に示す関係を表す情報は、Stackされている通知の出力を実行するか否かを判定することに用いられる可否情報となる。
　通知実行判定部９７は、図８を参照して説明した割り込みの制御なども行う。通知実行判定部９７は、出力を実行する通知の情報を出力制御部９８に出力する。
　出力制御部９８は、通知実行判定部９７による制御に従って、イヤホン１１から通知を出力させる。すなわち、出力制御部９８は、通信部５９を制御することによってイヤホン１１と通信を行い、通知の情報をイヤホン１１に送信するなどして通知を出力させる。
　また、出力制御部９８は、ある通知の出力中にChange DND Triggerがトリガ生成部９３から供給された場合、通知の出力を停止させる。
・イヤホン１１の構成
　図１４は、イヤホン１１の構成例を示すブロック図である。
　図１４の吹き出しに示すように、イヤホン１１は、CPU１０１、ROM１０２、RAM１０３、バス１０４、入出力I/F部１０５、音出力部１０６、センサ部１０７、通信部１０８、記憶部１０９、および電源部１１０により構成される。
　図１４に示す構成が、イヤホン１１を構成する左右のそれぞれのハウジング内に収納される。イヤホン１１を構成する左耳用の端末をイヤホン１１Ｌといい、右耳用の端末をイヤホン１１Ｒという。
　CPU１０１、ROM１０２、RAM１０３は、バス１０４により相互に接続される。所定のプログラムを実行することによって、CPU１０１においては通知出力制御部１０１Ａと状態検出部１０１Ｂが実現される。
　通知出力制御部１０１Ａは、通知制御サーバ１との間で通信を行い、通知制御サーバ１による制御に従って、音出力部１０６から通知を出力させる。
　状態検出部１０１Ｂは、センサ部１０７から供給されたセンサデータに基づいてユーザの状態を検出する。すなわち、図３を参照して説明した検出器のうちの所定の検出器がイヤホン１１に設けられる場合、状態検出部１０１Ｂは、その検出器として機能する。
　例えば、会話検出器Ｄ２がイヤホン１１に設けられる場合、状態検出部１０１Ｂは、センサ部１０７のマイクロフォン１２２により集音された音声に基づいて、ユーザの会話状態を検出する。
　また、移動状態検出器Ｄ３がイヤホン１１に設けられる場合、状態検出部１０１Ｂは、センサ部１０７のIMU１２１により検出されたセンサデータに基づいて、ユーザの移動状態を検出する。
　位置検出器Ｄ５がイヤホン１１に設けられる場合、状態検出部１０１Ｂは、センサ部１０７の測位センサ１２３により検出された位置情報に基づいて、ユーザの場所を検出する。
　検出器としての状態検出部１０１Ｂにより検出されたユーザの状態（個別Context）の情報は、通知制御サーバ１に対して送信される。
　図３を参照して説明した全ての検出器が状態検出部１０１Ｂにより実現され、総合Contextの判定が状態検出部１０１Ｂにより行われるようにしてもよい。
　バス１０４には、さらに、入出力I/F部１０５が接続される。入出力I/F部１０５には、音出力部１０６、センサ部１０７、通信部１０８、および記憶部１０９が接続される。
　音出力部１０６は、例えば、携帯端末１２が再生する音楽を出力させる。また、音出力部１０６は、通知出力制御部１０１Ａによる制御に従って通知の音声を出力させる。
　センサ部１０７は、IMU(Inertial Measurement Unit)１２１、マイクロフォン１２２、測位センサ１２３により構成される。
　IMU１２１は、加速度センサ、ジャイロセンサなどから構成される。IMU１２１は、イヤホン１１の加速度、角加速度などを計測する。
　マイクロフォン１２２は、ユーザの音声や周囲の環境音を集音する。
　測位センサ１２３は、GPS(Global Positioning System)センサなどにより構成される。測位センサ１２３は、ユーザの位置を計測する。
　センサ部１０７により検出されたセンサデータは、状態検出部１０１Ｂに供給され、ユーザの状態の判定に用いられる。図３を参照して説明した検出器が通知制御サーバ１や携帯端末１２などの外部の装置に設けられる場合、センサ部１０７により検出されたセンサデータは、通信部１０８を介して外部の装置に送信され、ユーザの状態の判定に用いられる。
　通信部１０８は、左右通信部１３１と外部通信部１３２により構成される。
　左右通信部１３１は、NFMIなどの近距離無線通信に対応した通信モジュールとして構成される。左右通信部１３１は、イヤホン１１Ｒとの間で通信を行い、センサデータなどをやり取りする。
　外部通信部１３２は、Bluetooth（登録商標）、無線LAN(Local Area Network)、セルラー方式の通信（LTE-Advancedや5G等）などの無線通信、または有線通信に対応した通信モジュールとして構成される。外部通信部１３２は、外部の装置との間で通信を行い、音楽データ、センサデータ、通知の情報などの各種の情報の送受信を行う。
　記憶部１０９は、半導体メモリなどにより構成される。記憶部１０９には、CPU１０１が実行するプログラムなどが記録される。
　電源部１１０は、バッテリを有している。電源部１１０は、イヤホン１１の各部に対して電源を供給する。
　なお、スマートフォンとして構成される携帯端末１２は、図１２を参照して説明した通知制御サーバ１と同様の構成を有する。携帯端末１２が、タブレット端末、PCなどの、スマートフォン以外のデバイスにより構成されるようにしてもよい。
＜通知制御サーバの動作＞
　ここで、図１５のフローチャートを参照して、通知制御サーバ１の基本的な動作について説明する。
　ステップＳ１において、検出結果取得部９１は、検出器８１－１乃至８１－３から送信されてきた検出結果を取得する。
　ステップＳ２において、Context判定部９２は、検出結果取得部９１から供給されたそれぞれの検出結果に基づいて個別Contextを判定し、全ての個別Contextを組み合わせることによって総合Contextを判定する。
　ステップＳ３において、通知取得部９４は、アプリケーションから送信されてきた通知登録に関する情報を取得する。取得された通知登録に関する情報は、通知管理部９５を介して通知実行判定部９７に出力される。
　ステップＳ４において、通知実行判定部９７は、通知登録が行われた通知の重要度を特定し、通知の重要度と総合Contextの判定結果に基づいて、通知が出力可能であるか否かを判定する。
　出力可能であるとステップＳ４において判定された場合、ステップＳ５において、出力制御部９８は、イヤホン１１から通知を出力させる。通知の出力が行われた後、ステップＳ１に戻り、以上の処理が繰り返される。
　一方、出力可能ではないとステップＳ４において判定された場合、ステップＳ６において、通知管理部９５は、通知登録が行われた通知の情報を通知保存部９６に出力し、保存（Stack）する。
　ステップＳ７において、通知管理部９５は、Breaking Pointのタイミングであるか否かを判定する。
　トリガ生成部９３からBreaking Point Triggerが供給されたことからBreaking PointのタイミングであるとステップＳ７において判定した場合、ステップＳ８において、通知管理部９５は、Stackしていた通知を通知実行判定部９７に供給し、出力させる。
　Stackしていた通知の出力が行われた後、または、ステップＳ７においてBreaking Pointのタイミングではないと判定された場合、ステップＳ１に戻り、以上の処理が繰り返される。
　以上の処理により、通知制御サーバ１は、ユーザにとって適切な内容の通知を、適切なタイミングで出力させることが可能となる。
＜変形例＞
・Stackされた通知の管理
　上述したように、Stackされた通知はBreaking Pointのタイミングで出力される。複数の通知がStackされた場合、単に、Stack順に出力されるようにしてもよいし、重要度の高い通知から先に出力されるようにしてもよい。
　また、複数の通知が所定の単位でグループ化され、グループ単位で出力されるようにしてもよい。
　図１６は、グループ化の例を示す図である。
　図１６の例においては、Stackされた通知が重要度毎にグループ化されるとともに、送信元毎（アプリケーション毎）にグループ化されている。例えば、左側のグループに含まれる通知から順に出力される。
　図１６の例の場合、重要度１の通知であって、送信元がアプリケーションＡである通知のグループから出力され、以降、送信元がアプリケーションＢである通知のグループ、送信元がアプリケーションＣである通知のグループの順に出力される。重要度１の通知の出力が終わった後、重要度２の通知、重要度３の通知がそれぞれグループ単位で順に出力される。
　このように、同じ重要度の通知毎、送信元が同一の通知毎にグループ化することにより、より重要な通知をアプリケーション単位でまとめて出力することが可能となる。
　どのアプリケーションの通知を先に出力させるのかをユーザが設定することができるようにしてもよい。
　Stack順ではなく、出力時間の短い通知の順に出力されるようにしてもよい。
　それぞれのアプリケーションの最新の通知のうち、通知登録が行われてからの経過時間が短い通知の順に出力されるようにしてもよい。
　ニュースの通知などのように、最新の通知以外はユーザにとってメリットが少ない通知もある。通知登録があったときにすぐに出力されない場合にStackされないようにアプリケーション毎に設定することができるようにしてもよい。
・通知の出力中にユーザの状態が変化した場合の対処
　上述したように、総合ContextがDNDに変化した場合には通知の出力が停止される。出力が停止された通知は、そのまま破棄されるようにしてもよいし、Breaking Pointなどのタイミングで出力が再開されるようにしてもよい。
　総合Contextの変化の仕方に応じて、または、出力中の通知の重要度に応じて、出力中の通知の処理が適宜変わるようにしてもよい。
　例えば、総合ContextがBreaking TimeからNeutralに変化した場合、出力中の通知が重要度３の通知である場合には、出力が停止される。
　総合ContextがBreaking TimeからDNDに変化した場合、出力中の通知が重要度２または重要度３の通知である場合には、出力が停止される。
　総合ContextがNeutralからDNDに変化した場合、出力中の通知が重要度２の通知である場合には、出力が停止される。
・マルチデバイスを用いた例
　通知の出力先となるデバイスがイヤホン１１であるものとしたが、音声の出力が可能な各種のデバイスを出力先のデバイスとして用いることが可能である。この場合、ユーザの状態に応じて、出力先のデバイスが切り替えられるようにしてもよい。
　図１７は、マルチデバイスを用いた通知システムの構成例を示す図である。
　図１７の例においては、イヤホン１１と携帯端末１２に加えて、TV１３、PC１４、およびスマートスピーカ１５が通知の出力先のデバイスとして通知制御サーバ１に接続されている。図１７に示すそれぞれのデバイスは、同じユーザが使っている、音声の出力が可能なデバイスである。
　イヤホン１１乃至スマートスピーカ１５のそれぞれのデバイスには検出器が設けられており、ユーザの状態の検出結果が通知制御サーバ１に対して送信される。通知制御サーバ１においては、イヤホン１１乃至スマートスピーカ１５のそれぞれにおいて検出された個別Contextを組み合わせることによって総合Contextが判定され、通知の出力が制御される。
　例えば、ユーザが携帯端末１２を操作している場合には携帯端末１２が通知の出力先のデバイスとして用いられ、TV１３を操作している場合にはTV１３が通知の出力先のデバイスとして用いられるといったように、出力先のデバイスが切り替えられる。
　マルチデバイスを用いた場合において、通知を聞かせるユーザが１人ではなく図１８に示すように複数人であってもよい。図１８の例においては、イヤホン１１Ａを装着するユーザＡに対する通知とイヤホン１１Ｂを装着するユーザＢに対する通知の出力が通知制御サーバ１により制御される。
　この場合、ユーザＡの状態とユーザＢの状態とに基づいて通知の出力が制御される。
　図１９は、複数人のユーザに対する通知の例を示す図である。
　ここでは、イヤホン１１を装着するユーザＡとTV１３を視聴しているユーザＢに対する通知が出力されるものとする。ユーザＡは父親であり、ユーザＢは、ユーザＡの息子である。
　通知制御サーバ１においては、吹き出し＃１に示すように、イヤホン１１による検出結果に基づいて父親の状態が判定されるとともに、TV１３による検出結果に基づいて息子の状態が判定される。図１９の例においては、父親の状態はDNDからBreaking Timeに変化し、その後、Breaking TimeからDNDに変化している。息子の状態は常時Neutralである。
　例えば、父親の状態がDNDからBreaking Timeに変化した時刻ｔのタイミングで、通知制御サーバ１による制御に従って、父親が装着するイヤホン１１からは、「子どもが用事があるようです」の通知が出力される。また、息子が使っているTV１３からは、「パパと話せるよ」の通知が出力される。
　このように、複数のユーザの状態に基づいて、複数のユーザに対する通知がそれぞれのユーザが使用しているデバイスから出力されるようにしてもよい。
・属性情報の例
　通知登録の際、通知の有効期限を送信元が設定できるものとしたが、他の属性情報を設定できるようにしてもよい。通知制御サーバ１の通知管理部９５（図１３）においては、属性情報により指定される内容に従って、通知登録が行われたそれぞれの通知が管理される。
　属性情報には、「有効期限」の他に、例えば、「アップデート」、「リアルタイム」、「Stackなし」が設定される。
　「アップデート」は、同一の送信元からの通知登録が行われた場合に、古い通知を破棄することを表す。「アップデート」の属性情報が設定された通知の登録が行われた場合、それより前に同じ送信元から登録された通知は破棄され、最新の通知だけがStackされる。
　「リアルタイム」は、通知登録が行われた場合に、すぐに出力することを表す。
　「Stackなし」は、すぐに出力できなかった場合でもStackしないことを表す。「Stackなし」の属性情報が設定された通知の登録が行われ、すぐに出力できなかった場合、その通知は破棄される。
・実装の例
　図１３を参照して説明した情報処理部７１が通知制御サーバ１において実現されるものとしたが、他の装置において実現されるようにしてもよい。
　図２０は、実施の他の例を示す図である。
　図２０のＡに示すように、情報処理部７１がイヤホン１１において実現されるようにすることが可能である。この場合、図１４のCPU１０１により所定のプログラムが実行されることにより、情報処理部７１がイヤホン１１において実現される。
　また、図２０のＢに示すように、情報処理部７１が携帯端末１２において実現されるようにすることが可能である。この場合、携帯端末１２のCPUにより所定のプログラムが実行されることにより、情報処理部７１が携帯端末１２において実現される。
　情報処理部７１の全体の構成が１つの装置において実現されるのではなく、複数の装置において分担して実現されるようにしてもよい。
　図２１は、実施の他の例を示す図である。
　図２１の例においては、情報処理部７１Ａと情報処理部７１Ｂによって、図１３の全体の構成が実現される。情報処理部７１Ａには検出結果取得部９１とContext判定部９２が設けられ、情報処理部７１Ｂには、トリガ生成部９３、通知取得部９４、通知管理部９５、通知保存部９６、通知実行判定部９７、および出力制御部９８が設けられる。なお、図２１の例においては、検出器８１－１乃至８１－３が情報処理部７１Ａに設けられる。
　例えば、情報処理部７１Ａはイヤホン１１において実現され、情報処理部７１Ｂは通知制御サーバ１において実現される。このように、情報処理部７１の構成のうちの少なくともいずれかの構成がイヤホン１１において実現され、他の構成が通知制御サーバ１において実現されるといったように、情報処理部７１の構成が複数の装置において分担して実現されるようにすることが可能である。
　情報処理部７１Ａに含まれる機能部と、情報処理部７１Ｂに含まれる機能部の組み合わせは任意に変更可能である。例えば、情報処理部７１Ａには検出結果取得部９１だけが設けられ、Context判定部９２が、トリガ生成部９３、通知取得部９４、通知管理部９５、通知保存部９６、通知実行判定部９７、および出力制御部９８とともに情報処理部７１Ｂに設けられるようにしてもよい。
　２つの装置ではなく、情報処理部７１の構成が３つ以上の装置において分担して実現されるようにしてもよい。
・その他の例
　情報を提示する通知ではなく、ユーザに応答を求める通知が行われるようにしてもよい。ユーザによる応答は、声を発することにより音声で行われるようにしてもよいし、首を振ったり、イヤホン１１のハウジングの所定の位置に触れるなどして、体を動かすことにより行われるようにしてもよい。
　ユーザによる応答に応じて、所定のアプリケーションが起動し、アクションが行われるようにしてもよい。アプリケーションによるアクションには、音楽の再生、メールの送信、アラームの設定などが含まれる。
　音声や首を振るなどしてデバイスの操作が可能とされている場合、出力中の通知をキャンセルすることができるようにしてもよい。
　同じ送信元の通知をユーザが複数回キャンセルした場合、その後、同じ送信元からの通知の出力が行われないような通知フィルタの設定が行われるようにしてもよい。このような通知フィルタが、ユーザとイヤホン１１との間での対話形式のやりとりによって設定されるようにしてもよい。
・プログラムの例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１２に示されるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM５２や記憶部５８に、あらかじめインストールしておくことができる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する制御部を備える
　情報処理装置。
（２）
　前記通知の受け取りやすさの程度に応じた状態として予め設定された複数の通知状態のうち、前記ユーザの状態がいずれの前記通知状態にあるのかを複数種類の前記検出結果に基づいて判定する状態判定部をさらに備える
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、それぞれの前記通知状態と、それぞれの前記通知状態のときに出力可能な前記通知の前記重要度との関係を表す第１の可否情報に基づいて、前記通知の出力を制御する
　前記（２）に記載の情報処理装置。
（４）
　前記通知の登録が行われたときに出力されなかった前記通知に関する情報を保存する通知管理部をさらに備える
　前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記ユーザの前記通知状態が前記通知の出力に適した状態に変化したタイミングで、保存された前記通知を出力させる
　前記（４）に記載の情報処理装置。
（６）
　前記制御部は、前記通知状態の変化の種類と、それぞれの前記通知状態の変化があったときに出力可能とする前記通知の前記重要度との関係を表す第２の可否情報に基づいて、保存された前記通知の出力を制御する
　前記（５）に記載の情報処理装置。
（７）
　前記制御部は、複数の前記ユーザのそれぞれの状態に基づいて、前記通知の出力を制御する
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記制御部は、前記ユーザが装着するヘッドフォンから前記通知を出力させる
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記ユーザが装着するデバイスに設けられたセンサにより計測されたセンサデータに基づく前記検出結果を取得する検出結果取得部をさらに備える
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記検出結果取得部は、前記ユーザが利用するアプリケーションの実行を制御するサーバからの情報に基づく前記検出結果を取得する
　前記（９）に記載の情報処理装置。
（１１）
　情報処理装置が、
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する
　情報処理方法。
（１２）
　コンピュータに、
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する
　処理を実行させるためのプログラム。
（１３）
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する出力制御部を備える
　出力装置。
（１４）
　センサと、
　前記センサにより計測されたセンサデータに基づいて前記ユーザの状況を検出する検出部と、
　前記検出部による前記検出結果を前記情報処理装置に送信する通信部と
　をさらに備える前記（１３）に記載の出力装置。
（１５）
　出力装置が、
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する
　出力方法。
（１６）
　出力装置のコンピュータに、
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する
　処理を実行させるためのプログラム。
（１７）
　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する情報処理装置と、
　音声による前記通知を前記情報処理装置による制御に従って出力する、前記ユーザが使用する出力装置と
　を含む通知システム。
　１　通知制御サーバ，　１１　イヤホン，　１２　携帯端末，　７１　情報処理部，　８１－１乃至８１－３　検出器，　９１－１乃至９１－３　検出結果取得部，　９２　Context判定，　９３　トリガ生成部，　９４　通知取得部，　９５　通知管理部，　９６　通知保存部，　９７　通知実行判定部，　９８　出力制御部

Claims (17)

  1. 　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する制御部を備える
    　情報処理装置。
  2. 　前記通知の受け取りやすさの程度に応じた状態として予め設定された複数の通知状態のうち、前記ユーザの状態がいずれの前記通知状態にあるのかを複数種類の前記検出結果に基づいて判定する状態判定部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、それぞれの前記通知状態と、それぞれの前記通知状態のときに出力可能な前記通知の前記重要度との関係を表す第１の可否情報に基づいて、前記通知の出力を制御する
    　請求項２に記載の情報処理装置。
  4. 　前記通知の登録が行われたときに出力されなかった前記通知に関する情報を保存する通知管理部をさらに備える
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記ユーザの前記通知状態が前記通知の出力に適した状態に変化したタイミングで、保存された前記通知を出力させる
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記通知状態の変化の種類と、それぞれの前記通知状態の変化があったときに出力可能とする前記通知の前記重要度との関係を表す第２の可否情報に基づいて、保存された前記通知の出力を制御する
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、複数の前記ユーザのそれぞれの状態に基づいて、前記通知の出力を制御する
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記ユーザが装着するヘッドフォンから前記通知を出力させる
    　請求項１に記載の情報処理装置。
  9. 　前記ユーザが装着するデバイスに設けられたセンサにより計測されたセンサデータに基づく前記検出結果を取得する検出結果取得部をさらに備える
    　請求項１に記載の情報処理装置。
  10. 　前記検出結果取得部は、前記ユーザが利用するアプリケーションの実行を制御するサーバからの情報に基づく前記検出結果を取得する
    　請求項９に記載の情報処理装置。
  11. 　情報処理装置が、
    　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する
    　情報処理方法。
  12. 　コンピュータに、
    　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する
    　処理を実行させるためのプログラム。
  13. 　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する出力制御部を備える
    　出力装置。
  14. 　センサと、
    　前記センサにより計測されたセンサデータに基づいて前記ユーザの状況を検出する検出部と、
    　前記検出部による前記検出結果を前記情報処理装置に送信する通信部と
    　をさらに備える請求項１３に記載の出力装置。
  15. 　出力装置が、
    　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する
    　出力方法。
  16. 　出力装置のコンピュータに、
    　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて前記通知の出力を制御する情報処理装置による制御に従って、音声による前記通知を出力する
    　処理を実行させるためのプログラム。
  17. 　ユーザの状況に関する複数種類の検出結果に基づいて判定された前記ユーザの状態と、前記ユーザに対するそれぞれの通知に対して設定された重要度とに応じて、音声による前記通知の出力を制御する情報処理装置と、
    　音声による前記通知を前記情報処理装置による制御に従って出力する、前記ユーザが使用する出力装置と
    　を含む通知システム。
PCT/JP2021/015461 2020-04-27 2021-04-14 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム WO2021220812A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022517620A JPWO2021220812A1 (ja) 2020-04-27 2021-04-14
CN202180029674.2A CN115461699A (zh) 2020-04-27 2021-04-14 信息处理装置、信息处理方法、输出装置、输出方法、程序和通知***
US17/996,595 US20230254401A1 (en) 2020-04-27 2021-04-14 Information processing apparatus, information processing method, outputting apparatus, outputting method, program, and notification system
EP21795792.7A EP4145854A4 (en) 2020-04-27 2021-04-14 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, OUTPUT DEVICE, OUTPUT METHOD, PROGRAM AND NOTIFICATION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-078675 2020-04-27
JP2020078675 2020-04-27

Publications (1)

Publication Number Publication Date
WO2021220812A1 true WO2021220812A1 (ja) 2021-11-04

Family

ID=78331541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015461 WO2021220812A1 (ja) 2020-04-27 2021-04-14 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム

Country Status (5)

Country Link
US (1) US20230254401A1 (ja)
EP (1) EP4145854A4 (ja)
JP (1) JPWO2021220812A1 (ja)
CN (1) CN115461699A (ja)
WO (1) WO2021220812A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4332724A3 (en) * 2022-08-09 2024-06-19 Casio Computer Co., Ltd. Electronic device, control method of electronic device, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292730A (ja) 2004-04-05 2005-10-20 Sony Corp 情報提示装置及び情報提示方法
JP2009020672A (ja) * 2007-07-11 2009-01-29 Hitachi Ltd ユーザ連携システムおよびサーバ装置
JP2013073378A (ja) 2011-09-27 2013-04-22 Sony Corp 端末装置と外部装置と情報処理方法とプログラムおよび情報処理システム
JP2014123192A (ja) * 2012-12-20 2014-07-03 Nec Corp 情報通知システム
JP2015169472A (ja) * 2014-03-05 2015-09-28 三菱電機株式会社 車載機器制御装置、システムおよび方法
WO2016157993A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013167806A (ja) * 2012-02-16 2013-08-29 Toshiba Corp 情報通知支援装置、情報通知支援方法、および、プログラム
WO2016157658A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US9979680B2 (en) * 2016-07-21 2018-05-22 Fujitsu Limited Smart notification scheduling and modality selection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292730A (ja) 2004-04-05 2005-10-20 Sony Corp 情報提示装置及び情報提示方法
JP2009020672A (ja) * 2007-07-11 2009-01-29 Hitachi Ltd ユーザ連携システムおよびサーバ装置
JP2013073378A (ja) 2011-09-27 2013-04-22 Sony Corp 端末装置と外部装置と情報処理方法とプログラムおよび情報処理システム
JP2014123192A (ja) * 2012-12-20 2014-07-03 Nec Corp 情報通知システム
JP2015169472A (ja) * 2014-03-05 2015-09-28 三菱電機株式会社 車載機器制御装置、システムおよび方法
WO2016157993A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4332724A3 (en) * 2022-08-09 2024-06-19 Casio Computer Co., Ltd. Electronic device, control method of electronic device, and program

Also Published As

Publication number Publication date
EP4145854A4 (en) 2023-10-25
CN115461699A (zh) 2022-12-09
US20230254401A1 (en) 2023-08-10
JPWO2021220812A1 (ja) 2021-11-04
EP4145854A1 (en) 2023-03-08

Similar Documents

Publication Publication Date Title
CN111078448B (zh) 一种处理音频异常的方法及电子设备
JP6051208B2 (ja) 存在下での提示又は共有状態
WO2019098037A1 (ja) 情報処理端末、情報処理装置、および情報処理方法
JP6817580B2 (ja) 情報処理方法、情報処理システム及び情報処理装置
US20220091674A1 (en) Hearing augmentation and wearable system with localized feedback
JP6857024B2 (ja) 再生制御方法、システム、及び情報処理装置
US11250873B2 (en) Information processing device and information processing method
WO2021220812A1 (ja) 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、通知システム
EP3412036B1 (fr) Procédé d'aide au suivi d'une conversation pour personne malentendante
US11275554B2 (en) Information processing apparatus, information processing method, and program
JP2019197497A (ja) ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム
KR20170012336A (ko) 피어 기반 장치 집합 동작
JP6496220B2 (ja) 情報配信装置および情報配信プログラム
JPWO2019049661A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11637921B2 (en) Enabling vibration notification based on environmental noise
WO2020153251A1 (ja) ボイスチャット装置、ボイスチャット方法及びプログラム
KR20220081090A (ko) 감정 기반 멀티미디어 컨텐츠 생성 방법 및 시스템
TWI839532B (zh) 計算裝置及延伸實境整合
JP5613102B2 (ja) 会議装置、会議方法および会議プログラム
US20240042335A1 (en) Sms, phone and video call support while gaming
JP7151707B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020067597A1 (ko) 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체
JP2023006988A (ja) 情報処理装置、プログラム及び参加者情報通知方法
KR20220011348A (ko) 게임 서비스 방법 및 이를 수행하기 위한 컴퓨팅 장치
JP2012054640A (ja) 会議端末装置、通信方法および通信プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21795792

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022517620

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021795792

Country of ref document: EP

Effective date: 20221128