DE112018006197T5

DE112018006197T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund aufzeichnungsmedium

Info

Publication number: DE112018006197T5
Application number: DE112018006197.3T
Authority: DE
Inventors: Yuri Kusakabe; Takuya Ikeda; Kentaro Ida
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-04
Filing date: 2018-09-04
Publication date: 2020-08-20
Also published as: CN111433710A; WO2019111465A1; US20210019911A1; KR20200094739A; JPWO2019111465A1

Abstract

[Problem]Bereitstellen einer Informationsverarbeitungsvorrichtung, eines Informationsverarbeitungsverfahrens und eines Aufzeichnungsmediums, die in der Lage sind, eine intuitivere Darstellung in Bezug auf eine Benachrichtigung, die mit einem tatsächlichen Objekt assoziiert ist, auszuführen.[Lösung]Es wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die einen Steuerteil zum Ausführen der folgenden Prozesse umfasst:wenn eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist, Bestimmen, ob sich ein mit dem Benachrichtigungsinhalt assoziiertes tatsächliches Objekt in demselben Bereich befindet wie eine zu benachrichtigende Partei; und Ausgeben des Benachrichtigungsinhalts an einer Position, die mit dem tatsächlichen Objekt assoziiert ist, gemäß der Tatsache, ob das tatsächliche Objekt vorhanden ist.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium.
Hintergrund
In der verwandten Technik werden als ein Verfahren zum Verwalten von Informationen wie etwa Aufgabenverwaltung und Messaging, Zettel und Whiteboards als ein analoges Verfahren verwendet, und heutzutage weit verbreitete Smartphones und Endgerätevorrichtungen in Form von Smart-Brillen werden als ein digitales Verfahren verwendet.
In den letzten Jahren wurde eine Technik zur Implementierung verschiedener Benutzeroberflächen und neuer Benutzerinteraktionen entwickelt.
Beispielsweise offenbart die folgende Patentliteratur 1 eine Technik zum Anzeigen einer Nachricht in der Nähe der Füße eines Benutzers zu dem Zeitpunkt, zu dem der Benutzer nach Hause kommt und eine Leuchte einschaltet, indem ein an einer Decke eines Raums angebrachter Projektor mit einem Schalter der Leuchte verknüpft wird.
Zitatliste
Patentliteratur
Patentliteratur 1: JP 2014-21428 A
Kurzfassung
Technisches Problem
In der oben beschriebenen Patentliteratur 1 ist jedoch ein Zeitpunkt der Darstellung von Informationen auf die Zeit beschränkt, zu der der Schalter der Leuchte eingeschaltet wird, und ein Ausgabeort ist auch auf ein Gebiet unter der Leuchte beschränkt.
Ein Zettel oder ein Whiteboard ist an einem gewissen Ort befestigt, somit kann der Benutzer keine Informationen mit sich führen und die Informationen nicht zu einem erforderlichen Zeitpunkt prüfen. Der Benutzer kann die Informationen mit sich führen, falls eine Endgerätevorrichtung verwendet wird, kann jedoch keine Benachrichtigung über eine Aufgabe oder eine Nachricht zu einem Zeitpunkt bemerken, zu dem der Benutzer die Endgerätevorrichtung nicht mit sich führt.
Es kann vorkommen, dass ein reales Objekt zum Erledigen einer Aufgabe verwendet wird, aber in der verwandten Technik wurde das Vorhandensein oder Nichtvorhandensein des realen Objekts zu einem Benachrichtigungszeitpunkt der Aufgabe nicht ausreichend berücksichtigt.
Somit stellt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium bereit, die eine intuitivere Darstellung einer Benachrichtigung in Bezug auf das reale Objekt ermöglichen können.
Lösung für das Problem
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die eine Steuereinheit beinhaltet, die dazu ausgelegt ist, Folgendes durchzuführen: eine Verarbeitung zum Bestimmen, ob ein reales Objekt, das mit einem Benachrichtigungsinhalt assoziiert ist, in demselben Bereich vorhanden ist wie eine Person, die zu der Zeit benachrichtigt werden soll, wenn eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist, und eine Verarbeitung zum Ausgeben des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
Gemäß der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, das Folgendes beinhaltet: Bestimmen, durch einen Prozessor, ob ein reales Objekt, das mit einem Benachrichtigungsinhalt assoziiert ist, in demselben Bereich vorhanden ist wie eine Person, die zu der Zeit benachrichtigt werden soll, wenn eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist; und Ausgeben, durch den Prozessor, des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
Gemäß der vorliegenden Offenbarung wird ein Aufzeichnungsmedium bereitgestellt, in dem ein Computerprogramm aufgezeichnet ist, wobei das Computerprogramm veranlasst, dass ein Computer als eine Steuereinheit fungiert, die dazu ausgelegt ist, Folgendes durchzuführen: eine Verarbeitung zum Bestimmen, ob ein reales Objekt, das mit einem Benachrichtigungsinhalt assoziiert ist, in demselben Bereich vorhanden ist wie eine Person, die zu der Zeit benachrichtigt werden soll, wenn eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist; und eine Verarbeitung zum Ausgeben des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
Vorteilhafte Effekte der Erfindung
Wie oben beschrieben, ist es gemäß der vorliegenden Offenbarung möglich, eine Benachrichtigung, die sich auf ein reales Objekt bezieht, intuitiver darzustellen.
Der oben beschriebene Effekt ist nicht notwendigerweise beschränkt, und jegliche der in der vorliegenden Beschreibung beschriebenen Effekte oder ein anderer Effekt, der anhand der vorliegenden Beschreibung begriffen werden kann, kann zusätzlich zu dem oben beschriebenen Effekt oder anstelle des oben beschriebenen Effekts aufgezeigt werden.
Figurenliste

1 ist ein Diagramm zum Erläutern einer Übersicht für ein Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung.
2 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration eines Systems gemäß der vorliegenden Ausführungsform veranschaulicht.
3 ist ein Diagramm zum Erläutern einer Eingabe einer Aufgabe bezüglich eines realen Objekts unter Verwendung eines digitalen Stifts gemäß der vorliegenden Ausführungsform.
4 ist ein Flussdiagramm, das ein Beispiel einer Prozedur zur Registrierungsverarbeitung des Systems gemäß der vorliegenden Ausführungsform veranschaulicht.
5 ist ein Diagramm, das ein Bildschirmbeispiel einer Registrierungs-UI gemäß der vorliegenden Ausführungsform veranschaulicht.
6 ist ein Flussdiagramm, das ein Beispiel der Registrierungsverarbeitung einer Benachrichtigungsbedingung veranschaulicht, die in zusätzlichen Informationen einer Aufgabe enthalten ist, gemäß der vorliegenden Ausführungsform.
7 ist ein Flussdiagramm, das ein Beispiel einer Registrierungsverarbeitung von Attributinformationen veranschaulicht, die in den zusätzlichen Informationen der Aufgabe enthalten sind, gemäß der vorliegenden Ausführungsform.
8 ist ein Diagramm, das ein Beispiel zur Bestimmung der Wichtigkeit basierend auf handschriftlichem Inhalt gemäß der vorliegenden Ausführungsform veranschaulicht.
9 ist ein Flussdiagramm, das ein Beispiel einer Prozedur einer Benachrichtigungsverarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht.
10 ist ein Diagramm, das ein Beispiel einer Ausgaberepräsentation von Aufgabenwichtigkeit gemäß der vorliegenden Ausführungsform veranschaulicht.
11 ist ein Diagramm, das ein Beispiel einer Aufgabenanzeige in einem Fall veranschaulicht, in dem das reale Objekt nicht in der Nähe vorhanden ist, gemäß der vorliegenden Ausführungsform.
12 ist ein Diagramm, das ein Beispiel einer Ansammlungsanzeige gemäß der vorliegenden Ausführungsform veranschaulicht.
13 ist ein Diagramm, das ein anderes Beispiel einer Ansammlungsanzeige gemäß der vorliegenden Ausführungsform veranschaulicht.
14 ist ein erläuterndes Diagramm, das eine Hardwarekonfiguration einer Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung veranschaulicht.

Beschreibung der Ausführungsformen
Das Folgende beschreibt eine bevorzugte Ausführungsform der vorliegenden Offenbarung im Detail unter Bezugnahme auf die beigefügten Zeichnungen. In der vorliegenden Beschreibung und den Zeichnungen werden Bestandteile mit im Wesentlichen derselben Funktionskonfiguration mit derselben Bezugsziffer bezeichnet, und eine redundante Beschreibung wird nicht wiederholt.
Die Beschreibung erfolgt in der folgenden Reihenfolge.

1. Übersicht eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung
2. Konfigurationsbeispiel
- 2-1. Eingabevorrichtung 200
- 2-2. Sensorvorrichtung 300
- 2-3. Ausgabevorrichtung 400
- 2-4. Informationsverarbeitungsvorrichtung 100
3. Operationsverarbeitung
- 3-1. Registrierungsverarbeitung
- 3-2. Benachrichtigungsverarbeitung
4. Ergänzung
- 4-1. Ansammlungsanzeige
- 4-2. Anwendungsbeispiel
- 4-3. Effekt
5. Hardwarekonfiguration
6. Schlussfolgerung

Übersicht eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung
1 ist ein Diagramm zum Erläutern einer Übersicht für ein Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung. Das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform beinhaltet eine Informationsverarbeitungsvorrichtung 100 (in 1 nicht veranschaulicht), eine Sensorvorrichtung 300 (eine Kamera ist als ein Beispiel in 1 veranschaulicht) und eine Ausgabevorrichtung 400 (ein Projektor 410 ist als ein Beispiel in 1 veranschaulicht).
Die Sensorvorrichtung 300 ist eine Vorrichtung, die verschiedene Arten von Daten erfasst. Beispielsweise beinhaltet die Sensorvorrichtung 300 eine Kamera, einen Tiefensensor und ein Mikrofon und erfasst Informationen, die sich auf einen Benutzer und einen Bereich beziehen, in dem der Benutzer anwesend ist. Beispielsweise erfasst die Sensorvorrichtung 300 eine Position, eine Haltung, eine Bewegung und eine Sichtlinie des Benutzers, eine Form eines Raums und eine Anordnung von realen Objekten wie etwa Möbeln, einem elektrischen Haushaltsgerät, einem Mülleimer, einer Innenraumausstattung und Alltagsbedarf. Die Anzahl der Sensorvorrichtungen 300 kann eins oder mehrere betragen.
Die Ausgabevorrichtung 400 ist eine Vorrichtung, die verschiedene Arten von Informationen von der Informationsverarbeitungsvorrichtung 100 ausgibt und beispielsweise als der Projektor 410 angenommen wird. Der Projektor 410 kann Informationen auf einen optionalen Ort (das heißt ein Gebiet), wie etwa eine Wand, einen Boden, einen Tisch oder ein Möbelstück, projizieren, das in dem Bereich enthalten ist, der durch die Sensorvorrichtung 300 als ein Projektionsort erfasst wird (das heißt, eine Projektionsfläche oder ein Projektionsgebiet). Der Projektor 410 kann durch mehrere Projektoren oder durch einen sogenannten beweglichen Projektor implementiert werden, sodass eine Projektion an einem beliebigen Ort im Bereich durchgeführt werden kann. Die Anzahl der Ausgabevorrichtungen 400 kann eins oder mehrere betragen.
Hintergrund
Wie oben beschrieben, wurden in der verwandten Technik verschiedene Benutzerinteraktionstechniken entwickelt. In der oben beschriebenen Technik, die in der Patentliteratur 1 offenbart ist, ist jedoch ein Zeitpunkt der Darstellung von Informationen auf die Zeit beschränkt, zu der ein Schalter einer Leuchte eingeschaltet wird, und ein Ausgabeort ist auch auf ein Gebiet unter der Leuchte beschränkt.
Ein Zettel oder ein Whiteboard ist an einem gewissen Ort befestigt, und ein Benutzer kann keine Informationen mit sich führen, um die Informationen zu einem erforderlichen Zeitpunkt zu prüfen. Wenn eine Endgerätevorrichtung verwendet wird, kann der Benutzer die Informationen mit sich führen, jedoch keine Benachrichtigung über eine Aufgabe oder eine Nachricht zu einem Zeitpunkt bemerken, zu dem der Benutzer die Endgerätevorrichtung nicht mit sich führt.
Es wird angenommen, dass sich die Aufgabe oder die Nachricht auf ein reales Objekt bezieht, wie etwa „Müll um 9:00 Uhr rausbringen“ oder „Einen Brief in die Post einwerfen“, aber in der verwandten Technik wurde eine Eingabe oder eine Ausgabe von Benachrichtigungsinformationen bezüglich des realen Objekts nicht ausreichend berücksichtigt.
Somit stellt die vorliegende Offenbarung einen Mechanismus bereit, der eine intuitivere Darstellung einer Benachrichtigung bezüglich des realen Objekts im Bereich ermöglichen kann.
Zum Beispiel, wie in 1 veranschaulicht, werden in einem Fall, in dem ein reales Objekt 10 zu der Zeit des Benachrichtigens des Benutzers über Benachrichtigungsinformationen, die mit dem realen Objekt 10 zu einem vorbestimmten Benachrichtigungszeitpunkt assoziiert sind, um den Benutzer herum vorhanden ist, Benachrichtigungsinformationen 20 durch den Projektor 410 auf das reale Objekt 10 projiziert, um zu ermöglichen, dass die Benachrichtigung bezüglich des realen Objekts intuitiver gestaltet wird.
Konfigurationsbeispiel
2 ist ein Blockdiagramm, das ein Beispiel für eine Konfiguration eines Systems 1 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 2 veranschaulicht, beinhaltet das System 1 die Informationsverarbeitungsvorrichtung 100, eine Eingabevorrichtung 200, die Sensorvorrichtung 300 und die Ausgabevorrichtung 400.
Eingabevorrichtung 200
Die Eingabevorrichtung 200 beinhaltet einen digitalen Stift 210, ein Touchpanel 220 und eine Tastatur 230.
Der digitale Stift 210 ist ein elektronischer Bedienungskörper, an dem eine Lichtemissionseinheit wie etwa eine Infrarot(IR)-Leuchtdiode (LED) angebracht ist. Die Lichtemissionseinheit emittiert Licht, wenn beispielsweise eine Taste, ein Schalter oder dergleichen, die/der an dem digitalen Stift 210 angeordnet ist, betätigt wird, wenn eine Stiftspitze gegen eine Masseebene gedrückt wird, oder wenn der Stift oszilliert. Der digitale Stift 210 kann einen vorbestimmten Befehl basierend auf einer Benutzerbedienung der Taste oder des Schalters, die an dem digitalen Stift 210 angeordnet sind, einer Bewegung des Stifts oder dergleichen zu der Informationsverarbeitungsvorrichtung 100 übertragen.
Das Touchpanel 220 und die Tastatur 230 sind auf einer Vorrichtung wie etwa einem Smartphone, einem Tablet-Endgerät, einer Smartwatch, einer Smart-Brille und einem PC angeordnet und detektieren eine Benutzerbedienung, die zu der Informationsverarbeitungsvorrichtung 100 übertragen werden soll. Das Touchpanel 220 und die Tastatur 230 können an einer Wand, einem Boden, einem Tisch, einer Tür und dergleichen in einem Haus angeordnet sein.
Der Benutzer kann eine Aufgabe, die sich auf ein optionales reales Objekt in dem Bereich bezieht, unter Verwendung der Eingabevorrichtung 200 in die Informationsverarbeitungsvorrichtung 100 eingeben. 3 veranschaulicht ein Diagramm zum Erläutern der Eingabe der Aufgabe bezüglich des realen Objekts unter Verwendung des digitalen Stifts 210. Wie in 3 veranschaulicht, schreibt der Benutzer an dem realen Objekt 10, das zum Erledigen der Aufgabe verwendet werden soll, unter Verwendung des digitalen Stifts 210. In diesem Fall detektiert die Informationsverarbeitungsvorrichtung 100 einen Lichtpunkt der an der Stiftspitze angeordneten Lichtemissionseinheit, um die Handschrift mit der in einem realen Bereich angeordneten Sensorvorrichtung 300 zu erkennen, und führt eine visuelle Rückmeldesteuerung zum Projizieren eines Handschriftbildes 21 durch den Projektor 410 durch. Die Informationsverarbeitungsvorrichtung 100 erkennt das reale Objekt 10 mit der Sensorvorrichtung 300 und registriert das Handschriftbild 21 als eine Aufgabe. Auf diese Weise kann der Benutzer frei auf jedes reale Objekt im realen Bereich schreiben und die mit dem realen Objekt verbundene Aufgabe intuitiv registrieren. In einem Fall, in dem das auf die Aufgabe bezogene reale Objekt nicht in der Nähe des Benutzers vorhanden ist, kann ein Name des realen Objekts und dergleichen mit dem digitalen Stift 210 geschrieben werden, sodass es als eine Aufgabe in der Informationsverarbeitungsvorrichtung 100 registriert wird. In einem Fall einer Aufgabe, die gemeldet werden muss, obwohl sie mit dem Benutzer selbst anstelle des realen Objekts assoziiert ist, kann die Aufgabe in der Informationsverarbeitungsvorrichtung 100 als eine Aufgabe registriert werden, die mit dem Benutzer selbst assoziiert ist, indem ein Inhalt der Aufgabe an einer Wand, einem Boden und dergleichen an einem gegenwärtigen Ort geschrieben wird.
Als eine Eingabeeinheit können zusätzlich zum digitalen Stift 210 eine Fingerspitze, eine Stimme und eine Geste verwendet werden, oder es kann eine Vorrichtung wie etwa ein Smartphone, ein Tablet-Endgerät, eine Smartwatch, eine Smart-Brille und ein PC verwendet werden. Alternativ kann die Eingabevorrichtung 200 Medieninformationen wie etwa ein Bild oder ein Bewegtbild erfassen, die in die Informationsverarbeitungsvorrichtung 100 eingegeben werden sollen.
Die Eingabevorrichtung 200 kann auch ein anderes optionales Bestandteil, mit dem der Benutzer andere Informationen eingeben kann, als die oben beschriebenen Bestandteile enthalten. Beispielsweise kann die Eingabevorrichtung 200 eine Maus, eine Taste, einen Schalter, einen Hebel und dergleichen enthalten.
Sensorvorrichtung 300
Die Sensorvorrichtung 300 beinhaltet einen Menschensensor 310, einen Beschleunigungssensor 320, einen Tiefensensor 330, ein Mikrofon 340, eine Kamera 350, einen Gyrosensor 360 und einen geomagnetischen Sensor 370.
Der Menschensensor 310 ist eine Vorrichtung, die die Anwesenheit/Abwesenheit einer Person detektiert. Der Menschensensor 310 ist beispielsweise ein optischer Sensor, der Infrarotstrahlen und dergleichen verwendet. Der Beschleunigungssensor 320, der Gyrosensor 360 und der geomagnetische Sensor 370 sind Bewegungssensoren, die eine Bewegung einer Person detektieren, und können an einer Endgerätevorrichtung wie etwa einer tragbaren Vorrichtung und einem dem Benutzer gehörenden Smartphone angeordnet sein. Der Tiefensensor 330 ist eine Vorrichtung, die Tiefeninformationen erfasst, wie etwa eine Infrarot-Entfernungsmessvorrichtung, eine Ultraschall-Entfernungsmessvorrichtung, LiDAR (Laser Imaging Detection and Ranging - Laserbildgebungsdetektion
und -entfernungsmessung) oder eine Stereokamera. Das Mikrofon 340 ist eine Vorrichtung, die Umgebungsgeräusche sammelt und Sprachdaten ausgibt, die durch Umwandeln der Umgebungsgeräusche in ein digitales Signal über einen Verstärker und einen Analog-Digital-Wandler (ADC) erhalten werden. Das Mikrofon 340 kann ein Array-Mikrofon sein. Die Kamera 350 ist eine Bildgebungsvorrichtung wie etwa eine RGB-Kamera, die ein Linsensystem, ein Antriebssystem und ein Bildgebungselement beinhaltet und ein Bild (ein statisches Bild oder ein bewegtes Bild) aufnimmt. Die Anzahl der Kameras 350 kann eine Mehrzahl betragen, und die Kamera 350 kann beweglich sein und kann eine optionale Richtung in dem Bereich fotografieren.
Die Sensorvorrichtung 300 erfasst Informationen basierend auf einer Steuerung, die durch die Informationsverarbeitungsvorrichtung 100 durchgeführt wird. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 einen Zoomfaktor und eine Bildgebungsrichtung der Kamera 350 steuern.
Die Sensorvorrichtung 300 kann auch ein optionales Bestandteil enthalten, das eine andere Erfassung als die oben beschriebenen Bestandteile durchführen kann. Beispielsweise kann die Sensorvorrichtung 300 verschiedene Sensoren beinhalten, wie etwa einen Beleuchtungsstärkesensor, einen Kraftsensor, einen Ultraschallsensor, einen Atmosphärendrucksensor, einen Gassensor (Co2) und eine Thermokamera.
Ausgabevorrichtung 400
Die Ausgabevorrichtung 400 beinhaltet den Projektor 410, eine Anzeige 420, einen Lautsprecher 430 und einen unidirektionalen Lautsprecher 440. Das System 1 kann als die Ausgabevorrichtung 400 eine dieser Komponenten oder eine Kombination mehrerer dieser Komponenten enthalten oder kann mehrere Vorrichtungen des gleichen Typs enthalten.
Der Projektor 410 ist eine Projektionsvorrichtung, die ein Bild an einen optionalen Ort im Bereich projiziert. Der Projektor 410 kann beispielsweise ein fester Weitwinkelprojektor sein oder kann ein sogenannter beweglicher Projektor sein, der ein bewegliches Teil enthält, das eine Projektionsrichtung ändern kann, wie etwa ein Projektor mit Schwenken/Neigen-Antrieb. Beispielsweise kann die Anzeige 420 auf einem Fernseher, einem Tablet-Endgerät, einem Smartphone, einem PC und dergleichen angeordnet sein. Der Fernseher ist eine Vorrichtung, die Funkwellen von Fernsehsendungen empfängt und ein Bild und eine Stimme ausgibt. Das Tablet-Endgerät ist typischerweise eine mobile Einrichtung, die einen größeren Bildschirm als der eines Smartphones aufweist und drahtlose Kommunikation durchführen kann und ein Bild, eine Stimme, Vibration und dergleichen ausgeben kann. Das Smartphone ist typischerweise eine mobile Einrichtung, die einen kleineren Bildschirm als der des Tablets aufweist und drahtlose Kommunikation durchführen kann und ein Bild, eine Stimme, Vibration und dergleichen ausgeben kann. Der PC kann ein fester Desktop-PC oder ein mobiler Notebook-PC sein und kann ein Bild, eine Stimme und dergleichen ausgeben. Der Lautsprecher 430 wandelt Sprachdaten in ein analoges Signal um, das über einen Digital-Analog-Wandler (DAC) und einen Verstärker ausgegeben (reproduziert) werden soll. Der unidirektionale Lautsprecher 440 ist ein Lautsprecher, der eine Richtwirkung in einer einzigen Richtung bilden kann.
Die Ausgabevorrichtung 400 gibt Informationen basierend auf einer Steuerung aus, die durch die Informationsverarbeitungsvorrichtung 100 durchgeführt wird. Die Informationsverarbeitungsvorrichtung 100 kann zusätzlich zu dem Inhalt der auszugebenden Information auch ein Ausgabeverfahren steuern. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 die Projektionsrichtung des Projektors 410 oder die Richtwirkung des unidirektionalen Lautsprechers 440 steuern.
Die Ausgabevorrichtung 400 kann auch ein optionales Bestandteil enthalten, das eine andere Ausgabe als die oben beschriebenen Bestandteile vornehmen kann. Beispielsweise kann die Ausgabevorrichtung 400 eine tragbare Vorrichtung wie etwa eine am Kopf angebrachte Anzeige (HMD), eine AR-Brille (Augmented Reality - erweiterte Realität) und eine uhrenartige Vorrichtung beinhalten. Die Ausgabevorrichtung 400 kann auch eine Beleuchtungsvorrichtung, eine Klimaanlage, eine Musikwiedergabevorrichtung, ein elektrisches Haushaltsgerät und dergleichen beinhalten.
Informationsverarbeitungsvorrichtung 100
Die Informationsverarbeitungsvorrichtung 100 beinhaltet eine Schnittstelleneinheit (IF-Einheit) 110, eine Handschrifterkennungseinheit 120, eine Gestendetektionseinheit 130, eine Spracherkennungseinheit 131, eine Kartenverwaltungseinheit 140, eine Benutzerpositionsspezifizierungseinheit 150, eine Benutzererkennungseinheit 160, eine Steuereinheit 170, einen Timer 180 und eine Speicherungseinheit 190.
I/F-Einheit 110
Die I/F-Einheit 110 ist eine Verbindungsvorrichtung zum Verbinden der Informationsverarbeitungsvorrichtung 100 mit einem anderen Gerät. Beispielsweise wird die I/F-Einheit 110 durch einen USB-Verbinder (Universal Serial Bus) und dergleichen implementiert und gibt Informationen in/aus jedes/jedem der Bestandteile, d. h. der Eingabevorrichtung 200, der Sensorvorrichtung 300 und der Ausgabevorrichtung 400 ein/aus. Beispielsweise ist die I/F-Einheit 110 über ein drahtloses/drahtgebundenes lokales Netzwerk (LAN), Digital Living Network Alliance (DLNA) (eingetragenes Markenzeichen), WiFi (eingetragenes Markenzeichen), Bluetooth (eingetragenes Markenzeichen) oder andere private Leitungen mit der Eingabevorrichtung 200, der Sensorvorrichtung 300 und der Ausgabevorrichtung 400 verbunden. Die I/F-Einheit 110 kann über das Internet oder ein Heimnetzwerk mit einem anderen Gerät verbunden sein.
Handschrifterkennungseinheit 120
Die Handschrifterkennungseinheit 120 weist eine Funktion zum Erkennen der Handschrift des Benutzers, die durch einen Bedienungskörper wie etwa den digitalen Stift 210 oder einen Finger im realen Bereich geschrieben wird, basierend auf den durch die Sensorvorrichtung 300 erfassten Informationen auf. Insbesondere analysiert die Handschrifterkennungseinheit 120 ein aufgenommenes Bild (ein aufgenommenes Bild, das durch Abbilden eines durch den Projektor 410 projizierten Handschriftbildes erhalten wird), das von der Kamera 350 erfasst wurde, führt eine Zeichenerkennung durch und führt eine morphologische Analyse, eine semantische Analyse und dergleichen an einer extrahierten Zeichenkette durch. Bei der Zeichenerkennung kann zusätzlich zum Handschriftbild auf eine Handlung zu der Zeit des Schreibens (eine Reihenfolge von Schriftzügen beim Schreiben, eine Schreibstartposition, eine Schreibendposition und dergleichen) Bezug genommen werden. Die Handschrifterkennungseinheit 120 kann auch einen Schreiber durch Mustererkennung und dergleichen unter Verwendung von maschinellem Lernen identifizieren. Die Handschrifterkennungseinheit 120 gibt ein Erkennungsergebnis an die Steuereinheit 170 aus.
Gestendetektionseinheit 130
Die Gestendetektionseinheit 130 weist eine Funktion zum Detektieren einer Geste des Benutzers basierend auf den durch die Sensorvorrichtung 300 erfassten Informationen auf. Insbesondere detektiert die Gestendetektionseinheit 130 die Geste wie etwa eine Haltung des Benutzers und eine Bewegung eines Kopfes, einer Hand oder eines Arms unter Verwendung des Beschleunigungssensors 320, des Tiefensensors 330, der Kamera 350, des Gyrosensors 360 und des geomagnetischen Sensors 370, die in der Sensorvorrichtung 300 enthalten sind. Die Gestendetektionseinheit 130 gibt ein Detektionsergebnis an die Steuereinheit 170 aus.
Spracherkennungseinheit 131
Die Spracherkennungseinheit 131 weist eine Funktion zum Erkennen einer Stimme des Benutzers basierend auf den durch die Sensorvorrichtung 300 erfassten Informationen auf. Insbesondere extrahiert die Spracherkennungseinheit 131 eine geäußerte Stimme des Benutzers aus Sprachinformationen, die durch das in der Sensorvorrichtung 300 enthaltene Mikrofon 340 gesammelt werden, führt eine Spracherkennung durch (wandelt die Stimme in Text um) und führt eine morphologische Analyse, eine semantische Analyse und dergleichen an einer erfassten Zeichenkette durch. Die Spracherkennungseinheit 131 gibt ein Erkennungsergebnis an die Steuereinheit 170 aus.
Kartenverwaltungseinheit 140
Die Kartenverwaltungseinheit 140 weist eine Funktion zum Erzeugen einer Karte innerhalb des Bereichs und Durchführen einer sogenannten Bereichserkennung wie etwa eine Erkennung des realen Objekts basierend auf den durch die Sensorvorrichtung 300 erfassten Informationen auf. Insbesondere erfasst die Kartenverwaltungseinheit 140 Informationen, die Formen von Objekten angeben, die den Bereich bilden, wie etwa eine Wandfläche, eine Decke, einen Boden, eine Tür, Möbel, Alltagsgegenstände und dergleichen (Informationen, die die Form des Bereichs angeben), basierend auf den Tiefeninformationen, die zum Beispiel durch Infrarot-Entfernungsmessung, Ultraschall-Entfernungsmessung oder eine Stereokamera erhalten werden. Die Informationen, die die Form des Bereichs angeben, können zweidimensionale Informationen oder dreidimensionale Informationen wie etwa eine Punktwolke sein.
Die Kartenverwaltungseinheit 140 erfasst auch dreidimensionale Positionsinformationen des in dem Bereich vorhandenen realen Objekts basierend auf der Infrarot-Entfernungsmessung, der Ultraschall-Entfernungsmessung, dem aufgenommenen Bild und den Tiefeninformationen.
Die Sensorvorrichtung 300 ist beispielsweise an jedem Ort in einem Wohnraum angeordnet. Die Kartenverwaltungseinheit 140 kann jeden Raum im Wohnraum wie etwa einen Eingang, einen Korridor, eine Küche, ein Wohnzimmer, ein Esszimmer, ein Arbeitszimmer, ein Schlafzimmer, ein Badezimmer, einen Waschraum und eine Veranda erkennen und kann die Anordnung der realen Objekte in jedem Raum kartieren.
Benutzerpositionsspezifizierungseinheit 150
Die Benutzerpositionsspezifizierungseinheit 150 weist eine Funktion zum Spezifizieren einer Position des Benutzers in einem dreidimensionalen Bereich, der durch die Kartenverwaltungseinheit 140 erkannt wird, auf. Insbesondere erkennt (schätzt) die Benutzerpositionsspezifizierungseinheit 150 eine Position in dem dreidimensionalen Bereich, der durch die Kartenverwaltungseinheit 140 erkannt wird, entsprechend der Position des Benutzers, die durch die Benutzererkennungseinheit 160 erkannt wird. Die Benutzerpositionsspezifizierungseinheit 150 gibt Informationen, die die spezifizierte Position des Benutzers in dem Bereich angeben, an die Steuereinheit 170 aus.
Benutzererkennungseinheit 160
Die Benutzererkennungseinheit 160 weist eine Funktion auf, den Benutzer in dem Bereich basierend auf den durch die Sensorvorrichtung 300 erfassten Informationen zu erkennen und Informationen über den Benutzer zu erfassen. Beispielsweise führt die Benutzererkennungseinheit 160 basierend auf Informationen, die durch eine Thermokamera, eine RGB-Kamera, eine Stereokamera, einen Infrarotsensor, einen Ultraschallsensor oder dergleichen erfasst werden, die in der Sensorvorrichtung 300 enthalten sind, eine persönliche Identifizierung und dergleichen basierend auf Anwesenheit/Abwesenheit, einer Position, Sichtlinieninformationen, einschließlich einer Position eines Blickpunkts und einer Sichtlinienrichtung, einer Haltung, Gesichtserkennung und dergleichen einer Person durch. Die Benutzererkennungseinheit 160 gibt erfasste Benutzerinformationen an die Steuereinheit 170 aus.
Die verschiedenen Arten der oben beschriebenen Erkennung und Detektion werden regelmäßig, kontinuierlich oder intermittierend durchgeführt, und ein Erkennungsergebnis und ein Detektionsergebnis werden durch die Steuereinheit 170 in der Speicherungseinheit 190 gespeichert.
Steuereinheit 170
Die Steuereinheit 170 fungiert als eine arithmetische Verarbeitungseinheit und eine Steuervorrichtung und steuert den gesamten Betrieb in der Informationsverarbeitungsvorrichtung 100 gemäß verschiedenen Computerprogrammen. Die Steuereinheit 170 kann beispielsweise durch eine elektronische Schaltung, wie etwa eine Zentralverarbeitungseinheit (CPU) und einen Mikroprozessor, implementiert werden. Die Steuereinheit 170 kann auch einen Nurlesespeicher (ROM) enthalten, der ein zu verwendendes Computerprogramm, einen arithmetischen Parameter und dergleichen speichert, und einen Direktzugriffsspeicher (RAM), der vorübergehend einen Parameter und dergleichen speichert, der geeignet variiert.
Die Steuereinheit 170 beinhaltet auch eine Anzeigedatenerzeugungseinheit 171 und eine Aufgabenregistrierungseinheit 173.
Die Anzeigedatenerzeugungseinheit 171 erzeugt Anzeigedaten, die durch die Ausgabevorrichtung 400 ausgegeben werden sollen. Insbesondere erkennt die Anzeigedatenerzeugungseinheit 171 zunächst eine Ortskurve einer Linie, die durch den digitalen Stift 210, eine Fingerspitze oder dergleichen gezeichnet wird (d. h. Bewegungsposition des digitalen Stifts 210 oder der Fingerspitze), basierend auf von der Sensorvorrichtung 300 erfassten Erfassungsdaten. Beispielsweise analysiert die Anzeigedatenerzeugungseinheit 171 eine Bewegungsortskurve des Lichtpunkts der Lichtemissionseinheit, die an der Stiftspitze des digitalen Stifts 210 angeordnet ist, oder der Fingerspitze des Benutzers basierend auf dem durch die Kamera 350 aufgenommenen Bild, den Tiefeninformationen und dergleichen. Die Anzeigedatenerzeugungseinheit 171 erzeugt dann ein Handschriftbild, das die erkannte Ortskurve anzeigt (dies ist ein Bild als Rückmeldung einer Handschrifteingabe des Benutzers, sodass das Bild, das die Ortskurve anzeigt, hierin als „Handschriftbild“ bezeichnet wird).
Die Anzeigedatenerzeugungseinheit 171 erzeugt zu der Zeit der Aufgabenregistrierung auch eine Registrierungsbenutzeroberfläche (Registrierungs-UI). Die Anzeigedatenerzeugungseinheit 171 erzeugt ferner ein Benachrichtigungsbild zum Melden der in der Speicherungseinheit 190 registrierten Aufgabe.
Die Aufgabenregistrierungseinheit 173 führt eine Verarbeitung zum Speichern (Registrieren) der Aufgabe (ein Beispiel der Benachrichtigungsinformationen) in der Speicherungseinheit 190 basierend auf den von der Sensorvorrichtung 300 und der Eingabevorrichtung 200 eingegebenen Informationen durch. Beispielsweise speichert die Aufgabenregistrierungseinheit 173 die durch die Handschrifterkennungseinheit 120 erkannte Zeichenfolge oder das durch die Kamera 350 aufgenommene oder durch die Anzeigedatenerzeugungseinheit 171 erzeugte Handschriftbild (eine Zeichenfolge, ein Diagramm, eine Illustration und dergleichen) (dies sind Beispiele für Benachrichtigungsinhalte) in einer Benachrichtigungsliste (diese kann auch als eine Aufgabenliste bezeichnet werden) der Speicherungseinheit 190 zusammen mit zusätzlichen Informationen. Die zusätzlichen Informationen beinhalten eine Benachrichtigungsbedingung (Benachrichtigungszeit, einen zu benachrichtigenden Benutzer, einen Benachrichtigungsort und ein reales Objekt, das zum Erledigen der Aufgabe verwendet wird) und Attributinformationen (Wichtigkeit, Sicherheitsinformationen und eine Wiederholungseinstellung). Die Steuereinheit 170 extrahiert die zusätzlichen Informationen aus einer geschriebenen Zeichenkette, Informationen, die in die Registrierungs-UI eingegeben werden, die zu der Zeit der Aufgabenregistrierung angezeigt wird, einer Geste oder einer Stimme des Benutzers und dergleichen. Die Aufgabenregistrierungseinheit 173 kann auch eine Benutzerstimme als die Aufgabe registrieren.
Die Steuereinheit 170 steuert auch eine Anzeigeausgabe und eine Sprachausgabe von der Ausgabevorrichtung 400.
Insbesondere bestimmt die Steuereinheit 170 gemäß der vorliegenden Ausführungsform, ob die Benachrichtigungsbedingung für die in der Speicherungseinheit 190 registrierte Aufgabe erfüllt ist, und führt in einem Fall, in dem die Benachrichtigungsbedingung erfüllt ist, eine Steuerung durch, um entsprechenden Benachrichtigungsinhalt von der Ausgabevorrichtung 400 auszugeben. Beispielsweise bestimmt die Steuereinheit 170 basierend auf vom Timer 180 ausgegebenen Timerinformationen, der durch die Benutzerpositionsspezifizierungseinheit 150 spezifizierten Position des Benutzers in dem Bereich, einem durch die Benutzererkennungseinheit 160 erhaltenen Ergebnis der Identifizierung des Benutzers und dergleichen, ob die registrierte Benachrichtigungsbedingung erfüllt ist.
In einem Fall, in dem reale Objektinformationen in der zu benachrichtigenden Aufgabe registriert sind, bestimmt die Steuereinheit 170, ob ein vorbestimmtes reales Objekt in demselben Bereich (zum Beispiel in demselben Raum) wie der Benutzer als eine zu benachrichtigende Person vorhanden ist. In einem Fall, in dem das reale Objekt vorhanden ist, führt die Steuereinheit 170 eine Steuerung zum Anzeigen (zum Beispiel Projizieren) einer Zeichenkette, eines Handschriftbildes oder dergleichen, die als eine Aufgabe registriert sind, an einer Position bezüglich des realen Objekts, das heißt auf das reale Objekt oder im Umfeld des realen Objekts durch. In einem Fall, in dem eine Ausgabefunktion (eine Anzeigeeinheit, eine Sprachausgabeeinheit und dergleichen) für das reale Objekt selbst bereitgestellt wird, kann die Steuereinheit 170 eine Steuerung ausführen, um zu bewirken, dass das reale Objekt eine Zeichenkette, ein Handschriftbild oder dergleichen anzeigt, die als eine Aufgabe registriert sind, oder eine Stimme, die als eine Aufgabe registriert ist, einen vorbestimmten Benachrichtigungston oder dergleichen wiedergibt. In einem Fall, in dem sich das reale Objekt an einem toten Winkel des Benutzers befindet (der tote Winkel des Benutzers wird basierend auf der Orientierung eines Kopfteils des Benutzers (zu benachrichtigender Person) oder der Sichtlinieninformationen erkannt), kann die Steuereinheit 170 das reale Objekt oder eine Vorrichtung in der Nähe des realen Objekts ertönen lassen, kann veranlassen, dass eine Leuchte des realen Objekts oder einer Vorrichtung in der Nähe des realen Objekts blinkt, oder kann ein Anzeigebild zum Führen des Benutzers zu dem realen Objekt in der Sichtlinienrichtung des Benutzers durch den Projektor 410 projizieren. Andererseits führt in einem Fall, in dem das reale Objekt nicht vorhanden ist, die Steuereinheit 170 eine Steuerung zum Anzeigen der Zeichenkette, des Handschriftbildes oder dergleichen, die als eine Aufgabe registriert sind, in einem beliebigen der Ausgabegebiete (zum Beispiel einem Projektionsgebiet wie etwa einer Wand oder einem Tisch, die in Sichtlinienrichtung des Benutzers positioniert sind) im selben Bereich wie der Benutzer (zu benachrichtigenden Person) zusammen mit Informationen, die das reale Objekt angeben (einen Namen, ein Bild oder dergleichen des realen Objekts) durch. Zu den Ausgabegebieten im selben Bereich wie der Benutzer (zu benachrichtigende Person) gehören Mobilgeräte wie etwa ein Smartphone, ein zellulares Telefonendgerät, eine Smartwatch, eine Smart-Brille und eine HMD, die dem Benutzer gehören.
Zu der Zeit der Benachrichtigung der Aufgabe kann die Steuereinheit 170 die registrierte Zeichenkette, das Handschriftbild oder dergleichen verarbeiten, damit sie gemäß den registrierten Attributinformationen angezeigt werden.
Timer 180
Der Timer 180 misst die Zeit und gibt Timerinformationen an die Steuereinheit 170 aus.
Speicherungseinheit 190
Die Speicherungseinheit 190 wird durch einen Nurlesespeicher (ROM), der ein Computerprogramm, einen arithmetischen Parameter und dergleichen speichert, der für die durch die Steuereinheit 170 durchgeführte Verarbeitung verwendet wird, und einen Direktzugriffsspeicher (RAM), der vorübergehend einen Parameter und dergleichen, die geeignet variieren, speichert, implementiert.
Die Aufgabe (Benachrichtigungsinformationen) wird durch die Aufgabenregistrierungseinheit 173 in der Speicherungseinheit 190 gespeichert.
Die Konfigurationen des Systems 1 gemäß der vorliegenden Ausführungsform wurden oben spezifisch beschrieben. Die in 2 veranschaulichte Konfiguration des Systems 1 ist lediglich ein Beispiel, und die vorliegende Ausführungsform ist nicht darauf beschränkt. Zum Beispiel, obwohl dies nicht in 2 veranschaulicht ist, kann eine andere Vorrichtung mit der Informationsverarbeitungsvorrichtung 100 verbunden sein.
Die Informationsverarbeitungsvorrichtung 100 kann aus mehreren Vorrichtungen bestehen. Die Informationsverarbeitungsvorrichtung 100 kann auch durch ein Smart-Home-Endgerät, einen PC, einen Home-Server, einen Edge-Server, einen Zwischenserver oder einen Cloud-Server implementiert werden.
Operationsverarbeitung
Anschließend beschreibt das Folgende spezifisch eine Prozedur der Operationsverarbeitung des Systems 1 gemäß der vorliegenden Ausführungsform unter Bezugnahme auf die Zeichnungen.
Registrierungsverarbeitung
Zunächst beschreibt das Folgende unter Bezugnahme auf 4 ein Beispiel einer Prozedur zur Registrierungsverarbeitung des Systems 1 gemäß der vorliegenden Ausführungsform. 4 ist ein Flussdiagramm, das ein Beispiel der Prozedur zur Registrierungsverarbeitung des Systems 1 gemäß der vorliegenden Ausführungsform veranschaulicht.
Wie in 4 veranschaulicht, detektiert die Informationsverarbeitungsvorrichtung 100 zunächst eine Eingabeoperation (erste Eingabeoperation) an einem Umgebungsobjekt, die durch den Benutzer unter Verwendung des digitalen Stifts 210 oder einer Fingerspitze durchgeführt wird, basierend auf den Informationen, die von der Eingabevorrichtung 200 oder der Sensorvorrichtung 300 erfasst werden (Schritt S103). Das Umgebungsobjekt ist ein Objekt, das eine Umgebung ausmacht, wie etwa eine Wand, ein Boden, ein Fenster, eine Tür, ein Bett, ein Schreibtisch, ein Tisch, ein Stuhl, ein Kühlschrank, ein Mülleimer und eine Plastikflasche, und beinhaltet das „reale Objekt“ gemäß der vorliegenden Ausführungsform. Wie oben beschrieben, ist das reale Objekt jedes Objekt, das im realen Bereich vorhanden ist und für die Erledigung der Aufgabe verwendet werden soll, wie etwa beispielsweise Möbel, ein elektrisches Haushaltsgerät, ein Mülleimer, ein Innenraumartikel und Alltagsbedarf. Die Informationsverarbeitungsvorrichtung 100 gemäß der vorliegenden Ausführungsform kann eine Handschrifteingabehandlung auf das Umgebungsobjekt als eine Eingabeoperation durch den Benutzer detektieren, indem ein Schriftzug einer menschlichen Hand unter Verwendung des digitalen Stifts 210 oder einer Fingerspitze (eine Bewegung einer Hand oder eines Arms, die/der ein Zeichen oder eine Grafik zeichnet) und den Lichtpunkt der Lichtemissionseinheit (IR-LED und dergleichen), die an der Stiftspitze des digitalen Stifts 210 angeordnet ist, basierend auf den von der Sensorvorrichtung 300 erfassten Erfassungsdaten analysiert wird. Die Informationsverarbeitungsvorrichtung 100 kann starten, eine solche Handschrifteingabehandlung zu der Zeit zu detektieren, zu der ein Schalter des digitalen Stifts 210 eingeschaltet wird, oder zu der Zeit, zu der eine vorbestimmte Befehlsäußerung, eine vorbestimmte Gestenoperation oder dergleichen detektiert werden.
Als Nächstes bestimmt die Informationsverarbeitungsvorrichtung 100 einen Eingabemodus (Löschoperationsmodus/Schreiboperationsmodus) der detektierten Eingabeoperation (Schritt S106). Der Eingabemodus kann basierend auf einem Schriftzug eines Benutzers oder einer Ortskurve des Lichtpunkts der Stiftspitze des digitalen Stifts 210 oder basierend auf dem Schalten des Schalters des digitalen Stifts 210 bestimmt werden. Beispielsweise bestimmt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Ortskurve des Lichtpunkts der Stiftspitze des digitalen Stifts 210 eine Abbruchlinie oder eine vorbestimmte Abbruchmarkierung bildet, dass der Eingabemodus der Löschoperationsmodus ist. In einem Fall, in dem die Ortskurve des Lichtpunkts der Stiftspitze des digitalen Stifts 210 eine andere Form als die Abbruchlinie oder die vorbestimmte Abbruchmarkierung bildet (zum Beispiel eine Grafik, ein Zeichen, ein Symbol und eine einfache Linie), bestimmt die Informationsverarbeitungsvorrichtung 100, dass der Eingabemodus der Schreiboperationsmodus ist.
Anschließend führt in einem Fall des Schreiboperationsmodus die Informationsverarbeitungsvorrichtung 100 eine Eingabeverarbeitung durch (Schritt S109). Insbesondere führt die Informationsverarbeitungsvorrichtung 100 eine Steuerung zum Erkennen der Ortskurve der Linie, die durch den digitalen Stift 210 oder eine Fingerspitze gezogen wird (die Bewegungsortskurve, die aus Bewegungspositionen des digitalen Stifts 210 oder der Fingerspitze besteht), Erzeugen eines Bildes, das die erkannte Ortskurve anzeigt, und Projizieren des erzeugten Bildes auf die erkannte Bewegungsortskurve vom Projektor 410 durch. Dafür kann der Benutzer eine Handschrifteingabe für jedes Umgebungsobjekt im realen Bereich durchführen, ohne gebietsmäßig eingeschränkt zu sein, wie dies bei einem Anzeigebildschirm einer Endgerätevorrichtung der Fall ist. Gemäß der vorliegenden Ausführungsform kann eine intuitivere und einfachere Eingabe im täglichen Leben implementiert werden, indem die Handschrifteingabe eingesetzt wird, und die Bequemlichkeit der Verwaltung der Aufgabe, die im Wohnraum erzeugt werden kann, wird stark verbessert. Durch direktes Registrieren einer Grafik, Illustration und Zeicheneingabe per Handschrift als eine Aufgabe, die zu der Zeit der Aufgabenbenachrichtigung angezeigt werden soll (später beschrieben), kann der Benutzer den Inhalt, die Wichtigkeit und die Dringlichkeit der Aufgabe intuitiv verstehen und sich an ein eigenes Gefühl oder an eine Situation zu der Zeit der Eingabe erinnern, indem er das durch ihn selbst geschriebene Zeichen betrachtet.
Andererseits führt in einem Fall des Löschoperationsmodus die Informationsverarbeitungsvorrichtung 100 eine Löschverarbeitung durch (Schritt S112). Zum Beispiel führt die Informationsverarbeitungsvorrichtung 100 in einem Fall des Detektierens einer Eingabeoperation einer Abbruchlinie eine Steuerung durch, um zu veranlassen, dass ein abgebrochenes Zeichen, eine Grafik, eine Illustration und dergleichen nicht angezeigt werden.
Anschließend zeigt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem ein Registrierungs-UI-Aufruf erfolgt (Ja in Schritt S115), die Registrierungs-UI zum Registrieren der zusätzlichen Informationen in Bezug auf die Aufgabe in der Nähe des Benutzers an (Schritt S118). In einem Fall, in dem der Benutzer die per Handschrift eingegebene Aufgabe registrieren möchte, führt der Benutzer eine Operation aus, die als ein Auslöser für das Weiterleiten des Prozesses zur Registrierungsverarbeitung dient (zweite Eingabeoperation, in diesem Fall der Registrierungs-UI-Aufruf). Der Registrierungs-UI-Aufruf kann das Zeichnen einer spezifischen Markierung unter Verwendung des digitalen Stifts 210, eine vorbestimmte Gestenoperation oder Stimme oder eine Druck- und Halteoperation des digitalen Stifts 210 sein.
5 veranschaulicht ein Bildschirmbeispiel der Registrierungs-UI. Wie in 5 veranschaulicht, wird beispielsweise eine Registrierungs-UI 25 so projiziert, dass sie in der Nähe des realen Objekts 10 angezeigt wird, an dem der Benutzer eine Handschrifteingabe durch den digitalen Stift 210 durchführt. Auf der Registrierungs-UI 25 wird ein Eingabefeld (zum Beispiel ein Pulldown-Typ oder ein Handschrifteingabetyp) für die zusätzlichen Informationen angezeigt, wobei die zusätzlichen Informationen in Assoziation mit der Aufgabe registriert werden sollen. Der Benutzer kann eine Benachrichtigungszeit, ein Objekt (ein reales Objekt, das zum Erledigen der Aufgabe verwendet wird), einen Benutzer (eine Person, die über die Aufgabe benachrichtigt werden soll; der Benutzer kann selbst ein Registrant sein (das heißt der Registrant der Aufgabe und die zu benachrichtigende Person sind dieselbe Person), oder kann eine andere Person wie etwa ein Familienmitglied sein, die zu benachrichtigende Person ist nicht unbedingt festgelegt) und einen Ort (einen Ort, an dem die Aufgabe erledigt wird, einen Benachrichtigungsort) über die Registrierungsoberfläche 25 designieren. In einem Feld des „Objekts“ (des realen Objekts, das zum Erledigen der Aufgabe verwendet wird) kann ein Name des realen Objekts 10, das durch die Systemseite erkannt wird (zum Beispiel „Mülleimer“), zur Prüfung durch den Benutzer dargestellt werden. Der Benutzer gibt nicht notwendigerweise alle Teile der zusätzlichen Informationen ein, die auf der Registrierungs-UI 25 angezeigt werden. Auf der Registrierungs-UI 25 angezeigte Elemente sind nicht auf das in 5 veranschaulichte Beispiel beschränkt, und eine optimale Registrierungs-UI kann erzeugt werden, um in Übereinstimmung mit einer Situation angezeigt zu werden. Beispielsweise können Registrierungs-UIs erzeugt werden, die für jeden Benutzer unterschiedlich sind, zusätzliche Informationen, die zuvor basierend auf maschinellem Lernen für die Aufgabenregistrierung geschätzt wurden, können als ein Kandidat dargestellt werden, und in Übereinstimmung mit einem Ort wie etwa einem Wohnzimmer und einem Schlafzimmer kann eine Person, die den Ort häufig nutzt, oder eine Zeit, zu der der Ort häufig genutzt wird, geschätzt und als ein Kandidat für die zusätzlichen Informationen dargestellt werden.
Als Nächstes gibt die Informationsverarbeitungsvorrichtung 100 die zusätzlichen Informationen der Aufgabe ein (Schritt S121). Die Informationsverarbeitungsvorrichtung 100 erfasst die Informationseingabe auf der angezeigten Registrierungs-UI 25 durch den Benutzer mit dem digitalen Stift 210, einem Finger oder dergleichen basierend auf den von der Sensorvorrichtung 300 erfassten Erfassungsdaten. Die vorliegende Ausführungsform beschreibt beispielhaft einen Fall der Anzeige der Registrierungs-UI, aber die vorliegende Ausführungsform ist nicht darauf beschränkt. Die Informationsverarbeitungsvorrichtung 100 kann die zusätzlichen Informationen basierend auf einer Stimme, einer Geste oder einem Handschriftinhalt des Benutzers extrahieren, ohne die Registrierungs-UI anzuzeigen. Die zusätzlichen Informationen beinhalten eine Benachrichtigungsbedingung (Benachrichtigungszeit, ein zu benachrichtigender Benutzer, einen Ort und ein reales Objekt, das zum Erledigen der Aufgabe verwendet wird) und die Attributinformationen (Wichtigkeit, Sicherheitsinformationen und eine Wiederholungseinstellung (Snooze-Funktion)) .
Die Informationsverarbeitungsvorrichtung 100 führt dann eine Abschlussverarbeitung durch (Schritt S124). Insbesondere führt die Informationsverarbeitungsvorrichtung 100 eine Verarbeitung zum Speichern eines Zeichens, einer Grafik, einer Illustration und dergleichen, die auf das Umgebungsobjekt geschrieben werden, in der Speicherungseinheit 190 in Assoziation mit den zusätzlichen Informationen durch (Registrierungsverarbeitung). Das Zeichen, die Grafik, die Illustration und dergleichen, die auf das Umgebungsobjekt geschrieben werden, können ohne Abänderung als ein Bild oder Text (eine Zeichenfolge), die zur gleichen Zeit erkannt werden, abgespeichert werden und ein Verarbeitungsergebnis, wie etwa ein semantisches Analyseergebnis, kann auch abgespeichert werden. In einem Fall, in dem der Aufgabeninhalt (Benachrichtigungsinhalt) mit dem digitalen Stift 210 als „Müll
rausbringen“ geschrieben wird, es angenommen wird, dass eine Zeitbedingung der Benachrichtigungsbedingung „9:00 Uhr XX/XX“ lautet, und es angenommen wird, dass das reale Objekt beispielsweise ein Mülleimer ist, ist ein Speicherformat der Aufgabe wie folgt. Objektdaten sind Punktgruppendaten in einem Fall des realen Objekts und Identifikationsdaten, wie etwa Gesichtserkennungsdaten in einem Fall des Benutzers.
Beispiel für abgespeicherte Daten Tag, Objektdaten, Zeichnung, Daten, Zeit {„Mülleimer“}, {Punktwolke}, {„hoge.png“}, {JJJJ.MM.TT.HH.MM.SS}
Zu der Zeit des Abspeicherns der Aufgabe kann die Informationsverarbeitungsvorrichtung 100 dem Benutzer den Abschluss der Registrierung unter Verwendung eines Tons oder eines Bildes rückmelden. Nach der Registrierung kann die Informationsverarbeitungsvorrichtung 100 veranlassen, dass das projizierte Handschriftbild und die Registrierungs-UI nicht angezeigt werden.
Die Abschlussverarbeitung kann gemäß einer durch den Benutzer durchgeführten Registrierungsabschlussoperation durchgeführt werden. Beispielsweise kann der Benutzer auf eine Abschlusstaste auf verschiedenen angezeigten GUIs, wie etwa der projizierten Registrierungs-UI, mit dem digitalen Stift 210, einem Berührungsstift, einer Fingerspitze und dergleichen antippen. Die Registrierungsabschlussoperation kann das Schreiben einer spezifischen Markierung mit dem digitalen Stift 210 und dergleichen, das Umgeben einer geschriebenen Aufgabe mit einer spezifischen Markierung oder das Zeichnen einer Unterstreichung beinhalten. Die Registrierungsabschlussoperation kann auch eine Geste sein, wie etwa das Wischen der geschriebenen Aufgabe mit der Hand oder das Eingeben eines bestimmten Befehls wie etwa „Registrieren“ per Spracheingabe.
Andererseits erkennt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem der oben beschriebene Registrierungs-UI-Aufruf in Schritt S115 nicht erfolgt (Nein in Schritt S115), den geschriebenen Inhalt als am gegenwärtigen Ort verbleibendes Gekritzel (Schritt S127). In diesem Fall kann die Informationsverarbeitungsvorrichtung 100 veranlassen, dass der als Gekritzel erkannte geschriebene Inhalt nach Ablauf einer gewissen Zeit gelöscht wird (nicht angezeigt wird). Aufgrund dessen kann der Benutzer an jedem Ort wie etwa einem Boden, einer Wand und einem Schreibtisch ungehemmt kritzeln.
Die Prozedur der Registrierungsverarbeitung gemäß der vorliegenden Ausführungsform wurde oben unter Bezugnahme auf 4 beschrieben. Die in 4 veranschaulichte Operationsverarbeitung ist lediglich ein Beispiel und die vorliegende Offenbarung nicht auf das in 4 veranschaulichte Beispiel beschränkt. Zum Beispiel ist die vorliegende Offenbarung nicht auf eine in 4 veranschaulichte Reihenfolge von Schritten beschränkt. Zumindest einige der Schritte können parallel oder in umgekehrter Reihenfolge durchgeführt werden. Beispielsweise können Teile der Verarbeitung von Schritt S103 bis Schritt S109 und Teile der Verarbeitung von Schritt S115 bis Schritt S118 parallel oder in umgekehrter Reihenfolge durchgeführt werden. Das heißt, der Registrierungs-UI-Aufruf wird vorher durchgeführt, um die Registrierungs-UI anzuzeigen, und der Aufgabeninhalt kann danach mit dem digitalen Stift 210 und dergleichen in das Umgebungsobjekt (einschließlich des realen Objekts) eingegeben werden.
Alle Teile der in 4 veranschaulichten Verarbeitung werden nicht unbedingt durchgeführt. Beispielsweise kann ein Registrierungsaufruf zum einfachen Registrieren einer schriftlichen Aufgabe erfolgen, ohne die Verarbeitung des Registrierungs-UI-Aufrufs von Schritt S115 bis Schritt S118 durchzuführen. Der Benutzer kann den Registrierungsaufruf nach dem Schreiben der zusätzlichen Informationen tätigen und die Aufgabe und die zusätzlichen Informationen registrieren. Nach der Löschverarbeitung in Schritt S112 kann der Prozess mit dem Registrierungs-UI-Aufruf in Schritt S115 fortfahren. Dies beruht darauf, dass nach dem Löschen einiger Zeichen der Rest der Zeichen, eine Illustration und dergleichen als eine Aufgabe registriert werden können.
Alle Teile der in 7 veranschaulichten Verarbeitung werden nicht notwendigerweise durch eine einzelne Vorrichtung durchgeführt, und die Verarbeitungsstücke werden nicht notwendigerweise in zeitlicher Reihenfolge durchgeführt.
Anschließend beschreibt das Folgende spezifisch die Registrierung der zusätzlichen Informationen der Aufgabe gemäß der vorliegenden Ausführungsform von Schritt S121 bis Schritt S124, die oben beschrieben wurden, unter Bezugnahme auf 6 bis 7.
6 ist ein Flussdiagramm, das ein Beispiel der Registrierungsverarbeitung der Benachrichtigungsbedingung veranschaulicht, die in den zusätzlichen Informationen der Aufgabe enthalten ist, gemäß der vorliegenden Ausführungsform. Wie in 6 veranschaulicht, führt in einem Fall des Registrierens der Benachrichtigungszeit (Ja in Schritt S133) die Informationsverarbeitungsvorrichtung 100 zunächst das Einstellen der Benachrichtigungszeit (Schritt S139), der Timereinstellung (Schritt S142) oder der Zeitpunkteinstellung (Schritt S145) gemäß einem Bedingungspunkt (Schritt S136) durch.
Informationen über die Benachrichtigungszeit können aus einer Benutzereingabe in die Registrierungs-UI oder aus dem geschriebenen Inhalt erfasst werden. Als die Einstellung der Benachrichtigungszeit können ein Jahr, ein Monat, ein Datum, eine Stunde und eine Minute festgelegt werden. In einem Fall, in dem die Timereinstellung durchgeführt wird, beginnt die Informationsverarbeitungsvorrichtung 100, die Zeit mit dem Timer 180 zu messen. In Bezug auf die Zeitpunkteinstellung, können Sonnenuntergang oder ein vorbestimmter Zeitpunkt in Abhängigkeit vom Wetter und dergleichen, insbesondere verschiedene Situationen wie etwa „wenn es regnet“, „wenn es sonnig ist“, „wenn es heiß ist“, „wenn es Abend wird“ und „am Morgen“ als der Benachrichtigungszeitpunkt eingestellt werden. Die Informationsverarbeitungsvorrichtung 100 kann aus der Cloud und dergleichen die Sonnenuntergangszeit oder die Zeit, zu der sich das Wetter ändern wird, erfassen und die erfasste Zeit als die Benachrichtigungszeit einstellen.
Als Nächstes registriert die Informationsverarbeitungsvorrichtung 100 in einem Fall des Registrierens des realen Objekts, das zum Erledigen der Aufgabe verwendet wird (sich darauf bezieht) (Ja in Schritt S148), die realen Objektinformationen. Die realen Objektinformationen können aus der Benutzereingabe in die Registrierungs-UI erfasst werden oder können aus dem geschriebenen Inhalt erfasst werden. Beispielsweise kann das reale Objekt durch Berühren eines realen Zielobjekts, Schreiben einer bestimmten Markierung auf das reale Zielobjekt oder Umgeben des realen Zielobjekts mit einer bestimmten Markierung durch den Benutzer mit dem digitalen Stift 210 designiert und registriert werden. Ein Verfahren zum Designieren des realen Objekts kann darin bestehen, das reale Objekt mit einer Fingerspitze zu berühren oder durch eine Geste auf das reale Objekt zu zeigen. Auf diese Weise kann durch Verwendung des realen Objekts zu der Zeit der Aufgabenregistrierung das reale Objekt intuitiver und einfacher designiert werden. Das reale Objekt, das sich auf das Erledigen der Aufgabe bezieht, ist nicht auf eine anorganische Substanz beschränkt und kann ein anderer Benutzer, ein Haustier und dergleichen sein.
Selbst in einem Fall, in dem das mit der Aufgabe verbundene reale Objekt nicht in der Nähe des Benutzers vorhanden ist, kann es vorkommen, dass an eine Aufgabe gedacht wird und an einem bestimmten Ort mit der Eingabe von Aufgabeninhalten begonnen wird. In diesem Fall kann das reale Objekt durch Schreiben eines Namens des realen Objekts designiert werden. Beispielsweise erfasst und registriert die Informationsverarbeitungsvorrichtung 100 an einem Ort, an dem kein Mülleimer in der Nähe vorhanden ist, den Aufgabeninhalt von „9:00 Uhr morgen“ und die realen Objektinformationen von „Mülleimer“ aus dem Schreiben von „9:00 Uhr morgen Mülleimer“.
Anschließend wird die zu benachrichtigende Person festgelegt (Schritt S154 bis Schritt S160). Insbesondere zum Beispiel in einem Fall, in dem der Benutzer (Registrant) eine andere Person als sich selbst (einen anderen Benutzer, die Anzahl von diesen kann eins oder eine Mehrzahl betragen) über die Registrierungs-UI und dergleichen designiert (Ja in Schritt S154), legt die Informationsverarbeitungsvorrichtung 100 den designierten anderen Benutzer als die zu benachrichtigende Person fest (S157). In einem Fall, in dem die zu benachrichtigende Person nicht spezifiziert ist, wie etwa ein mit dem Benutzer zusammenlebendes Familienmitglied, kann der Benutzer die zu benachrichtigende Person als „nicht spezifiziert“ oder „irgendjemand“ festlegen.
Andererseits legt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem kein anderer Benutzer designiert ist (Nein in Schritt S154), automatisch den Registranten der Aufgabe (Benutzer selbst) als die zu benachrichtigende Person fest (Schritt S160) .
Auf diese Weise kann als die Person, die über die Aufgabe informiert werden soll, zusätzlich zu dem Registranten der Aufgabe selbst ein anderer Benutzer designiert werden, der mit dem Benutzer im Wohnraum zusammenlebt, oder ein Benutzer kann festgelegt werden, der nicht mit dem Benutzer zusammenlebt, sondern durch den Benutzer designiert wird.
Als Nächstes führt in einem Fall des Registrierens des Benachrichtigungsortes (Ja in Schritt S163) die Informationsverarbeitungsvorrichtung 100 eine Einstellungsverarbeitung des Benachrichtigungsorts durch (Schritt S166). Als einen Ort, an dem die Aufgabe gemeldet wird, können ein Umgebungsobjekt, ein Mobilgerät und eine andere Situation als das reale Objekt festgelegt werden, wie etwa ein Eingang, eine Küche, ein Wohnzimmer, ein Raum einer beliebigen Person, ein Smartphone, ein Fernseher, eine Smartwatch und die Peripherie der zu benachrichtigenden Person. Durch das Festlegen des Benachrichtigungsorts ist es beispielsweise bei der Eingabe von „9:00 Uhr morgen Mülleimer“ möglich, einen Raum zu spezifizieren, in dem der „Mülleimer“ vorhanden ist. Die Designierung des Benachrichtigungsortes kann unter Verwendung eines Ortsnamens oder durch Anzeigen einer Karte (zum Beispiel Raumanordnung des Wohnraums) durchgeführt werden, um eine Position eines durch den Benutzer platzierten Pins zu erfassen.
Die Registrierungsverarbeitung der Benachrichtigungsbedingung, die in den zusätzlichen Informationen gemäß der vorliegenden Ausführungsform enthalten ist, wurde oben spezifisch beschrieben. Die Benachrichtigungsbedingung gemäß der vorliegenden Ausführungsform ist nicht auf die oben beschriebenen Punkte beschränkt. Ein zusätzlicher Punkt kann hinzugefügt werden, und alle oben beschriebenen Punkte werden nicht unbedingt registriert. Beispielsweise wird die zu benachrichtigende Person, das reale Objekt oder der Benachrichtigungsort nicht unbedingt festgelegt. Dies liegt daran, dass es einen Fall geben kann, in dem ein Ziel der Aufgabe eine beliebige Person ist, die mit dem Benutzer im Wohnraum zusammenlebt, oder das reale Objekt nicht zum Erledigen der Aufgabe verwendet wird.
Die in 6 veranschaulichte und oben beschriebene Operationsverarbeitung ist lediglich ein Beispiel und die vorliegende Offenbarung nicht auf das in 6 veranschaulichte Beispiel beschränkt. Zum Beispiel ist die vorliegende Offenbarung nicht auf eine in 6 veranschaulichte Reihenfolge von Schritten beschränkt. Zumindest einige der Schritte können parallel oder in umgekehrter Reihenfolge durchgeführt werden. Beispielsweise können Teile der Verarbeitung von Schritt S133 bis Schritt S145, Teile der Verarbeitung von Schritt S148 bis Schritt S151, Teile der Verarbeitung von Schritt S154 bis Schritt S160 und Teile der Verarbeitung von Schritt S163 bis Schritt S166 parallel durchgeführt werden oder können in umgekehrter Reihenfolge durchgeführt werden.
Alle Teile der in 6 veranschaulichten Verarbeitung werden nicht notwendigerweise durchgeführt, und alle Teile der Verarbeitung werden nicht notwendigerweise durch eine einzelne Vorrichtung durchgeführt. Die in 6 veranschaulichten Verarbeitungsteile werden nicht unbedingt in zeitlicher Sequenz durchgeführt.
Anschließend beschreibt das Folgende die Registrierungsverarbeitung der Attributinformationen unter Bezugnahme auf 7. 7 ist ein Flussdiagramm, das ein Beispiel der Registrierungsverarbeitung der Attributinformationen veranschaulicht, die in den zusätzlichen Informationen der Aufgabe enthalten sind, gemäß der vorliegenden Ausführungsform.
Wie in 7 veranschaulicht, stellt in einem Fall des Registrierens der Wichtigkeit (Ja in Schritt S169) die Informationsverarbeitungsvorrichtung 100 zunächst die Wichtigkeit basierend auf dem Inhalt der Benutzereingabe in die Registrierungs-UI und dem geschriebenen Inhalt (das heißt dem handschriftlichen Inhalt) ein (Schritt S172). 8 veranschaulicht ein Beispiel zur Bestimmung der Wichtigkeit basierend auf dem handschriftlichen Inhalt.
Wie in 8 veranschaulicht, setzt die Informationsverarbeitungsvorrichtung 100 beispielsweise als ein Ergebnis der Zeichenerkennung des geschriebenen Inhalts „Wichtigkeit: niedrig“ in einem Fall, in dem der Text von „irgendwann zu erledigen“ extrahiert wird, „Wichtigkeit: mittelmäßig“ in einem Fall, in dem Text von „normal“ extrahiert wird, und „Wichtigkeit: hoch“, in einem Fall, in dem Text von „wichtig!“ extrahiert wird.
Auch in einem Fall, in dem eine spezifische Markierung, wie in 8 veranschaulicht, gezeichnet ist, kann die Informationsverarbeitungsvorrichtung 100 eine entsprechende Wichtigkeit setzen. Der Benutzer kann die Wichtigkeit setzen, indem er die geschriebene Aufgabe oder das reale Objekt durch die in 8 veranschaulichte spezifische Markierung umgibt. Die in 8 veranschaulichte spezifische Markierung kann auch für den Registrierungs-UI-Aufruf oder die oben beschriebene Registrierungsabschlussoperation verwendet werden. Wenn der Benutzer die geschriebene Aufgabe oder das reale Objekt durch die in 8 veranschaulichte spezifische Markierung umgibt, um die Wichtigkeit zu setzen, kann die Registrierungs-UI zum Einstellen der Benachrichtigungsbedingung und dergleichen angezeigt werden, und die Registrierung kann zur gleichen Zeit abgeschlossen werden, falls die Benachrichtigungsbedingung und dergleichen bereits geschrieben wurden.
Die Informationsverarbeitungsvorrichtung 100 kann auch die Wichtigkeit, wie in 8 veranschaulicht, gemäß einer Farbe eines Stifts der Handschrifteingabe (einer Farbe der projizierten Handschrift) setzen. Beispielsweise kann „Wichtigkeit: niedrig“ in einem Fall gesetzt werden, in dem die Handschrift blau ist, „Wichtigkeit: mittelmäßig“ kann in einem Fall gesetzt werden, in dem die Handschrift gelb ist, und „Wichtigkeit: hoch“ kann in einem Fall gesetzt werden, in dem die Handschrift rot ist. Die Farbe der Handschrift kann durch den Benutzer optional ausgewählt werden, indem beispielsweise der Schalter des digitalen Stifts 210 betätigt wird. In diesem Fall führt die Informationsverarbeitungsvorrichtung 100 eine Verarbeitung zum Erzeugen eines Bildes, das die Handschrift in Farbe anzeigt, die durch den Benutzer zu der Zeit des Erzeugens des Handschriftbildes durch die Anzeigedatenerzeugungseinheit 171 ausgewählt wird, und zum Projizieren des Bildes vom Projektor 410 durch.
Eine Korrespondenz zwischen der Wichtigkeit und dem Text, der Form der Markierung und der in 8 veranschaulichten Farbe ist lediglich ein Beispiel, und die vorliegende Ausführungsform ist nicht darauf beschränkt. Eine solche Korrespondenz kann zuvor auf der Systemseite als ein Standard festgelegt oder durch den Benutzer angepasst und registriert werden. Die „Wichtigkeit“ beinhaltet auch Bedeutungen wie etwa Dringlichkeit und Priorität.
Auf diese Weise kann die Wichtigkeit automatisch basierend auf dem Inhalt der Handschrifteingabe, die für das Umgebungsobjekt im Wohnraum durchgeführt wird, festgelegt werden. Es wird angenommen, dass sich ein Gefühl des Benutzers zu der Zeit der Eingabe der Aufgabe (ein Gefühl wie etwa „diese Aufgabe ist eine ernste Angelegenheit“ und „wichtig“) in der Form der Markierung oder der Farbe des Stifts widerspiegelt. Beispielsweise wird angenommen, dass sich der Benutzer so verhält, dass der Benutzer die Aufgabe in Rot schreibt oder die Aufgabe durch mehrere Markierungen umgibt, falls der Benutzer der Meinung ist, dass die Aufgabe wichtig ist. Gemäß der vorliegenden Ausführungsform kann durch das Durchführen der Aufgabenregistrierung basierend auf dem Inhalt der Handschrifteingabe das Gefühl des Benutzers zu der Zeit der Eingabe verstanden werden, und der Benutzer kann die Eingabe intuitiver abschließen.
Als Nächstes setzt in einem Fall des Registrierens einer Sicherheitsstufe (Ja in Schritt S175) die Informationsverarbeitungsvorrichtung 100 die Sicherheitsstufe basierend auf dem Inhalt der Benutzereingabe in die Registrierungs-UI und dem geschriebenen Inhalt (Schritt S178). Als die Sicherheitsstufe der Aufgabe können beispielsweise Einstellungen wie etwa öffentlich (zum Beispiel können alle Mitbewohner die Aufgabe durchsuchen), privat (zum Beispiel kann nur ein registrierter Benutzer die Aufgabe durchsuchen) und angepasst (zum Beispiel ein registrierter Benutzer und ein spezifischer Mitbewohner können die Aufgabe durchsuchen) beispielhaft dargelegt werden.
Anschließend stellt in einem Fall des Registrierens einer Wiederholungsbenachrichtigung (Ja in Schritt S181) die Informationsverarbeitungsvorrichtung 100 die Wiederholungsbenachrichtigung basierend auf dem Inhalt der Benutzereingabe in die Registrierungs-UI und dem geschriebenen Inhalt ein (Schritt S184). Bei der Einstellung der Wiederholungsbenachrichtigung wird zum Beispiel die Einstellung der Anzahl oder Frequenz der Wiederholung durchgeführt, insbesondere zum Beispiel die Einstellung der Anzahl der Wiederholungen der Benachrichtigung und der Intervalle (in Minuten) der Wiederholung, bis eine Abschlussoperation der Aufgabe durchgeführt wird. In einem Fall, in dem die Wiederholungsfrequenz auf hoch eingestellt ist, kann die Informationsverarbeitungsvorrichtung 100 automatisch den Benachrichtigungsort einstellen, sodass die Benachrichtigung wiederholt an einem Eingang erfolgt, durch den die zu benachrichtigende Person mit Sicherheit zu der Zeit des Ausgehens läuft. Die Benachrichtigungseinstellung für den Eingang kann in einem Fall eingestellt werden, in dem die oben beschriebene Wichtigkeit hoch ist.
Durch das Einstellen der Wiederholungsbenachrichtigung wie oben beschrieben, kann verhindert werden, dass die Benachrichtigung übersehen wird. Eine solche Wiederholungsbenachrichtigung kann jedes Mal durch den Benutzer über die Registrierungs-UI und dergleichen eingestellt werden, kann zuvor als ein standardmäßiger oder angepasster Inhalt eingestellt werden oder kann automatisch gemäß dem Inhalt der Aufgabe eingestellt werden, wie etwa in einem Fall, in dem die Wichtigkeit hoch ist.
Die Registrierungsverarbeitung der Attributinformationen, die in den zusätzlichen Informationen gemäß der vorliegenden Ausführungsform enthalten ist, wurde oben spezifisch beschrieben. Die Attributinformationen gemäß der vorliegenden Ausführungsform sind nicht auf die oben beschriebenen Punkte beschränkt. Ein anderer Punkt kann ferner hinzugefügt werden, und alle oben beschriebenen Punkte werden nicht unbedingt registriert.
Die in 7 veranschaulichte Operationsverarbeitung ist lediglich ein Beispiel und die vorliegende Offenbarung ist nicht auf das in 7 veranschaulichte Beispiel beschränkt. Beispielsweise ist die vorliegende Offenbarung nicht auf eine in 7 veranschaulichte Reihenfolge von Schritten beschränkt. Zumindest einige der Schritte können parallel oder in umgekehrter Reihenfolge durchgeführt werden. Beispielsweise können Teile der Verarbeitung von Schritt S169 bis Schritt S172, Teile der Verarbeitung von Schritt S175 bis Schritt S178 und Teile der Verarbeitung von Schritt S181 bis Schritt S184 parallel oder in umgekehrter Reihenfolge durchgeführt werden.
Alle Teile der in 7 veranschaulichten Verarbeitung werden nicht notwendigerweise durchgeführt, und alle Teile der Verarbeitung werden nicht notwendigerweise durch eine einzelne Vorrichtung durchgeführt. Die in 7 veranschaulichten Verarbeitungsteile werden nicht unbedingt in zeitlicher Sequenz durchgeführt.
Benachrichtigungsverarbeitung
9 ist ein Flussdiagramm, das ein Beispiel einer Prozedur einer Benachrichtigungsverarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht. Die Informationsverarbeitungsvorrichtung 100 führt eine Benachrichtigungssteuerung durch, indem sie sich auf die in der Speicherungseinheit 190 gespeicherten zusätzlichen Informationen der Aufgabe bezieht, während sie kontinuierlich die Situation in dem Bereich (Anwesenheit/Abwesenheit einer Person und dergleichen) basierend auf den von der Sensorvorrichtung 300 erfassten Erfassungsdaten erkennt.
Wie in 9 veranschaulicht, erkennt die Informationsverarbeitungsvorrichtung 100 zunächst den in dem Bereich anwesenden Benutzer basierend auf den von der Sensorvorrichtung 300 erfassten Erfassungsdaten (Schritt S203). Die Informationsverarbeitungsvorrichtung 100 kann nur die Anwesenheit/Abwesenheit einer Person in dem Bereich erkennen oder kann ferner eine persönliche Identifizierung basierend auf einem Gesichtsbild, einer Charakteristik einer Stimme, Biosensordaten, einer ID und dergleichen durchführen.
Als Nächstes bestimmt die Informationsverarbeitungsvorrichtung 100, ob eine Sicherheitsbedingung (Sicherheitsstufe) erfüllt ist (Schritt S206). Beispielsweise bestimmt die Informationsverarbeitungsvorrichtung 100, ob die Sicherheitsbedingung erfüllt ist, abhängig davon, ob mehrere Personen in dem Bereich anwesend sind, und wer anwesend ist. Bei einer Aufgabe, für die die Sicherheitsbedingung nicht festgelegt ist, wird die Verarbeitung übersprungen.
Anschließend prüft die Informationsverarbeitungsvorrichtung 100, ob Zeitpunktinformationen eingestellt sind (Schritt S209). Die Zeitpunktinformationen sind die Benachrichtigungszeit, die in der oben beschriebenen Benachrichtigungsbedingung enthalten ist.
Als Nächstes zeigt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Zeitpunktinformationen nicht eingestellt sind (Ja in Schritt S209), den registrierten Aufgabeninhalt auf dem realen Objekt, das mit der Aufgabe assoziiert ist, in der Nähe der zu benachrichtigenden Person oder an einem vorbestimmten registrierten Benachrichtigungsort an (Schritt S227). In diesem Fall kann die Informationsverarbeitungsvorrichtung 100 eine Steuerung durchführen, sodass der Aufgabeninhalt immer angezeigt wird. In einem Fall, in dem sich die zu benachrichtigende Person in einen anderen Bereich bewegt, kann die Informationsverarbeitungsvorrichtung 100 den Aufgabeninhalt kontinuierlich auf eine Wand, einen Boden, einen Schreibtisch und dergleichen in der Peripherie der Bewegung der zu benachrichtigenden Person folgend projizieren. Der anzuzeigende Aufgabeninhalt ist beispielsweise das mit der Hand unter Verwendung des digitalen Stifts 210, eines Fingers und dergleichen geschriebene Handschriftbild, das zu der Zeit der Eingabe abgespeichert wird.
Anschließend bestimmt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Zeitpunktinformationen eingestellt sind (Ja in Schritt S209), ob eine Zeitpunktbedingung hergestellt ist (Schritt S212).
Als Nächstes prüft die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Zeitpunktbedingung hergestellt ist, ob das mit der Aufgabe assoziierte reale Objekt in der Nähe der zu benachrichtigenden Person vorhanden ist (in demselben Bereich wie die zu benachrichtigende Person) (Schritt S215) .
Anschließend führt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem sich das reale Objekt in der Nähe befindet (Ja in Schritt S215), eine Steuerung zum Anzeigen des Aufgabeninhalts, der Benachrichtigungsbedingung und des Attributs auf dem realen Objekt durch (Schritt S218). Der Aufgabeninhalt ist beispielsweise das mit der Hand unter Verwendung des digitalen Stifts 210, eines Fingers und dergleichen geschriebene Handschriftbild, das zu der Zeit der Eingabe abgespeichert wird. Die Benachrichtigungsbedingung ist beispielsweise die Benachrichtigungszeit, die zu benachrichtigende Person und der Benachrichtigungsort. Die Steuerung zum Anzeigen des Attributs ist beispielsweise das Ändern des Anzeigemodus gemäß der Wichtigkeit. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 den Anzeigemodus, wie etwa eine Form der Markierung, die den Aufgabeninhalt umgibt, und eine Anzeigefarbe, ein Blinken, eine Hintergrundfarbe und dergleichen des Aufgabeninhalts, gemäß der eingestellten Wichtigkeit ändern. In einem Fall, in dem die Wichtigkeit hoch ist, kann die Informationsverarbeitungsvorrichtung 100 automatisch Text hinzufügen, der einen anzuzeigenden Wichtigkeitsgrad angibt (zum Beispiel „wichtig!“, „ernst!“ und dergleichen). 10 veranschaulicht ein Beispiel einer Ausgaberepräsentation der Aufgabenwichtigkeit. Wie in 10 veranschaulicht, wird angenommen, dass die Ausgaberepräsentation Text, die Form der Markierung (die das Handschriftbild umgibt), eine Farbe, eine Animation, ein Alarmton und dergleichen entsprechend der Wichtigkeit ist. Auf diese Weise kann durch das Ändern der Ausgaberepräsentation gemäß dem Attribut der Aufgabe selbst in derselben Modalität die Benachrichtigung mit einer optimalen Repräsentation erfolgen, die der Wichtigkeit der Aufgabe entspricht.
Selbst in einem Fall, in dem das reale Objekt, das sich auf das Erledigen der Aufgabe bezieht, zu der Zeit der Aufgabenregistrierung nicht in der Nähe vorhanden ist und das reale Objekt unvermeidlich durch in ein umliegendes Umgebungsobjekt (eine Wand, eine Tür, einen Boden, einen Tisch oder dergleichen) einzugebenden Text oder Sprache designiert wird, falls die realen Objektinformationen als zugehörige Informationen registriert sind und das reale Objekt in der Nähe der zu dem Benachrichtigungszeitpunkt zu benachrichtigenden Person vorhanden ist, kann der Aufgabeninhalt auf dem zu benachrichtigenden realen Objekt angezeigt werden. In einem Fall, in dem der Benutzer beispielsweise um 9:00 Uhr in einer Küche, in der kein Mülleimer vorhanden ist, daran denkt, Müll zu entsorgen, schreibt der Benutzer „Mülleimer, 9:00 Uhr, wichtig!“ unter Verwendung des digitalen Stifts 210 an eine Wand der Küche. Anschließend zeigt (projiziert) die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem sich zu der Zeit, zu der die Zeitpunktbedingung um 9:00 Uhr hergestellt wird, ein Mülleimer in der Nähe des Benutzers befindet, den Aufgabeninhalt auf dem Mülleimer an. Zu diesem Zeitpunkt wird der Aufgabeninhalt durch Schreiben von „wichtig!“ zu der Zeit der Registrierung als „Wichtigkeit: hoch“ eingestellt, sodass die Informationsverarbeitungsvorrichtung 100 das Handschriftbild von „9:00“ mit einer spezifischen anzuzeigenden gezackten Markierung (siehe 10) umgeben kann.
In Schritt S218, der in 9 veranschaulicht ist, ist „Anzeigen des Aufgabeninhalts, der Benachrichtigungsbedingung und des Attributs auf dem realen Objekt“ beschrieben, aber die vorliegende Ausführungsform ist nicht darauf beschränkt. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 nur den Aufgabeninhalt auf dem realen Objekt anzeigen (projizieren) oder nur den Aufgabeninhalt anzeigen, der in eine optimale Repräsentation entsprechend dem Attribut umgewandelt wurde.
Andererseits erzeugt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem das reale Objekt nicht in der Nähe der zu benachrichtigenden Person vorhanden ist (Nein in Schritt S215), Informationen, die das reale Objekt angeben (A), und führt eine Verarbeitung durch Umwandeln des Anzeigeinhalts in eine optimale Repräsentation gemäß dem Attribut der Aufgabe durch (B) (Schritt S221). Die Informationen, die angeben, dass das reale Objekt Text (ein Name des realen Objekts), ein aufgenommenes Bild (ein aufgenommenes Bild, das durch Abbilden des realen Objekts erhalten wird), eine Illustration (ein Illustrationsbild des realen Objekts, das aus der Cloud basierend auf dem Namen des realen Objekts erfasst oder automatisch erzeugt werden kann) und dergleichen ist. Die Umwandlung des Aufgabeninhalts in die optimale Repräsentation gemäß dem Attribut der Aufgabe ist die gleiche wie der oben in Schritt S218 beschriebene Inhalt. Eine solche Repräsentationsumwandlung kann nicht nur für den Aufgabeninhalt durchgeführt werden, sondern auch für die erzeugten „Informationen, die das reale Objekt angeben“. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem durch das Umgeben des realen Objekts mit einer gezackten Markierung zu der Zeit der Aufgabenregistrierung die Wichtigkeit von „hoch“ designiert wird, das Bild des realen Objekts in eine blinkende Animation umwandeln, oder in einem Fall des Erzeugens von Text, der den Namen des realen Objekts repräsentiert, kann die Informationsverarbeitungsvorrichtung 100 die Farbe des Textes zu rot ändern. Variationen der Ausgaberepräsentation, die der Wichtigkeit entsprechen, sind in 10 veranschaulicht.
Anschließend führt die Informationsverarbeitungsvorrichtung 100 eine Steuerung zum Anzeigen der Informationen, die das reale Objekt angeben, des Aufgabeninhalts, der in eine optimale Repräsentation entsprechend dem Attribut umgewandelt wurde, und der Benachrichtigungsbedingung in der Nähe der zu benachrichtigenden Person durch (Schritt S224). Die Benachrichtigungsbedingung wird jedoch nicht unbedingt angezeigt. 11 veranschaulicht ein Beispiel einer Aufgabenanzeige in einem Fall, in dem das reale Objekt nicht in der Nähe vorhanden ist, gemäß der vorliegenden Ausführungsform. Wie in 11 veranschaulicht, zeigt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem ein vorbestimmtes reales Objekt nicht in der Nähe des Benutzers vorhanden ist, wenn die Benachrichtigungsbedingung erfüllt ist, Benachrichtigungsinformationen 22, einschließlich der Informationen, die das reale Objekt und den Aufgabeninhalt angeben, in der Peripherie des Benutzers oder in Sichtlinienrichtung des Benutzers an. In dem in 11 veranschaulichten Beispiel ist das registrierte reale Objekt „Mülleimer“ nicht vorhanden, sodass die Informationsverarbeitungsvorrichtung 100 den Aufgabeninhalt „9:00“ zusammen mit dem Text von „Mülleimer“ anzeigt. Die Informationsverarbeitungsvorrichtung 100 kann veranlassen, dass sich die Benachrichtigungsinformationen 22 bewegen, um die Aufmerksamkeit des Benutzers auf sich zu ziehen.
Auf diese Weise kann die Repräsentation in verschiedene Modalitäten wie etwa eine Stimme und einen Tastsinn umgewandelt werden, die in einem Fall gemeldet werden sollen, in dem sich das reale Objekt zu der Zeit der Aufgabenbenachrichtigung nicht in der Nähe der zu benachrichtigenden Person befindet, aber diese Modalitäten sind jedoch abhängig von der Benachrichtigungszeit, der Situation des Benutzers und dem Aufgabeninhalt nicht unbedingt zweckmäßig. Dementsprechend kann in der vorliegenden Ausführungsform durch Erzeugen der Informationen, die das anzuzeigende reale Objekt angeben, zusammen mit dem Aufgabeninhalt die Benachrichtigungsverarbeitung flexibler durchgeführt werden.
Bei der vorliegenden Ausführungsform wird das von Hand eingegebene Handschriftbild als ein Beispiel für den anzuzeigenden Aufgabeninhalt veranschaulicht, aber die vorliegende Ausführungsform ist nicht darauf beschränkt. Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Aufgabe durch Eingabe von Text unter Verwendung eines Smartphones, eines Tablet-Endgeräts und dergleichen registriert wird, den Text in handschriftähnliche Zeichen umwandeln, einschließlich einer für den Benutzer spezifischen Handschriftcharakteristik, der den Text eingegeben hat, und kann die handschriftartigen Zeichen als den Aufgabeninhalt anzeigen. Aus diesem Grund kann dem Aufgabeninhalt Individualität verliehen werden, die nicht im trockenen Text enthalten ist. Zusätzlich kann in einem Fall, in dem ein Benutzer A beispielsweise eine Eingabe durchführt, um die Aufgabe für einen Benutzer B anzuzeigen, ein Individuum aufgrund der Charakteristik der Handschrift spezifiziert werden, ohne klar zu schreiben, dass der Benutzer A die Erledigung der Aufgabe angefordert hat, was zur Vereinfachung der Registrierung beiträgt.
Wenn ein Abschlussvorgang zum Erledigen der Aufgabe durchgeführt wird (Ja in Schritt S230), beendet die Informationsverarbeitungsvorrichtung 100 die Anzeige der Benachrichtigungsinformationen (des Aufgabeninhalts, der Benachrichtigungsbedingung, der Anzeige des realen Objekts, des Attributs und dergleichen) (Schritt S233). Der Abschlussvorgang zum Erledigen der Aufgabe kann zu dem Zeitpunkt durchgeführt werden, zu dem der Benutzer mit dem Erledigen der Aufgabe beginnt oder die Aufgabe vollständig erledigt hat. Beispielsweise kann der Benutzer eine Aufgabenabschluss-Taste auf der GUI mit einem Berührungsstift oder einer Fingerspitze drücken oder kann die angezeigte (projizierte) Aufgabenabschluss-Taste zusammen mit den Benachrichtigungsinformationen mit einer Fingerspitze berühren. Eine Operation für das vollständige Erledigen kann durch Zeichnen einer vorbestimmten Markierung wie etwa einer schrägen Linie oder eines Kreuzes in einem Anzeigegebiet der Benachrichtigungsinformationen durch den Benutzer mit dem digitalen Stift 210, einem Finger und dergleichen oder durch eine Geste des Wischens des Anzeigegebiets der Benachrichtigungsinformationen mit der Hand durchgeführt werden. Die Operation für das vollständige Erledigen kann auch durch Eingabe eines spezifischen Befehls durchgeführt werden, wie etwa „Erledigen der Aufgabe“ durch Sprache. Wenn die Abschlussoperation zum Erledigen der Aufgabe durchgeführt wird, beendet die Informationsverarbeitungsvorrichtung 100 die Benachrichtigung der Benachrichtigungsinformationen und kann die Informationen der Aufgabe aus der Speicherungseinheit 190 löschen oder zur gleichen Zeit ein Abschluss-Flag für die Aufgabe in der Benachrichtigungsliste setzen.
Andererseits bestimmt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Abschlussoperation zum Erledigen der Aufgabe nicht durchgeführt wird (Nein in Schritt S230), ob die Wiederholungsbenachrichtigung eingestellt ist (Schritt S236) .
Anschließend zeigt die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Wiederholungsbenachrichtigung eingestellt ist (Ja in Schritt S236), zu der Zeit, zu der eine eingestellte Wiederholungsbedingung hergestellt wird (Schritt S239), die Aufgabe (insbesondere den Aufgabeninhalt, die Benachrichtigungsbedingung, die Informationen, die das reale Objekt angeben, und die Attributinformationen) erneut an (Schritt S242). Die Wiederholungsbenachrichtigung wird wiederholt an demselben Ort (am realen Objekt in einem Fall, in dem das reale Objekt vorhanden ist) mit einer festgelegten Frequenz durchgeführt. In einem Fall, in dem sich die zu benachrichtigende Person in einen anderen Raum oder einen Eingang bewegt, während die Abschlussoperation zum Erledigen der Aufgabe nicht durchgeführt wird, kann die Informationsverarbeitungsvorrichtung 100 die Wiederholungsbenachrichtigung in der Nähe der zu benachrichtigenden Person vornehmen.
Andererseits behält die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die Wiederholungseinstellung nicht durchgeführt wird (Nein in Schritt S236), die Aufgabenanzeige ohne Abänderung, bis die Abschlussoperation zum Erledigen der Aufgabe durchgeführt wird (Schritt S245).
Die Benachrichtigungsverarbeitung gemäß der vorliegenden Ausführungsform wurde oben spezifisch unter Bezugnahme auf 9 beschrieben. Die in 9 veranschaulichte Operationsverarbeitung ist lediglich ein Beispiel und die vorliegende Offenbarung nicht auf das in 9 veranschaulichte Beispiel beschränkt. Beispielsweise ist die vorliegende Offenbarung nicht auf eine in 9 veranschaulichte Reihenfolge von Schritten beschränkt. Zumindest einige der Schritte können parallel oder in umgekehrter Reihenfolge durchgeführt werden. Beispielsweise können die Verarbeitung in Schritt S203, die Verarbeitung in Schritt S206 und die Verarbeitung in Schritt S209 parallel oder in umgekehrter Reihenfolge durchgeführt werden.
Alle Teile der in 9 veranschaulichten Verarbeitung werden nicht unbedingt durchgeführt.
Beispielsweise kann die Informationsverarbeitungsvorrichtung 100 in einem Fall, in dem die zu benachrichtigende Person nicht spezifiziert ist, nur die Anwesenheit/Abwesenheit einer Person von einem Menschensensor oder einer Kamera detektieren, ohne eine persönliche Identifizierung einer Person in Schritt S203 durchzuführen. In diesem Fall kann die Informationsverarbeitungsvorrichtung 100 beispielsweise, falls die Anwesenheit einer Person in dem Bereich zu der Zeit geprüft wird, zu der die Zeitpunktbedingung hergestellt ist, das reale Objekt bezüglich der Erledigung der Aufgabe, das in demselben Bereich vorhanden ist, anzeigen oder die Benachrichtigungsinformationen in der Nähe dieser Person anzeigen. In einem Fall, in dem die zu benachrichtigende Person nicht spezifiziert ist, kann die Informationsverarbeitungsvorrichtung 100 die Benachrichtigungsinformationen auf dem realen Objekt bezüglich des Erledigens der Aufgabe oder einen vorbestimmten Benachrichtigungsort unabhängig von der Anwesenheit/Abwesenheit einer Person anzeigen.
In einem Fall, in dem das reale Objekt nicht mit der Aufgabe assoziiert ist und die Zeitpunktbedingung hergestellt ist, kann die Informationsverarbeitungsvorrichtung 100 die Benachrichtigungsinformationen in der Nähe der zu benachrichtigenden Person (in der Sichtlinienrichtung in einem Fall, in dem die Sichtlinienrichtung durch Detektieren der Orientierung und dergleichen eines Kopfes der zu benachrichtigenden Person bestimmt wird) oder an einem registrierten Benachrichtigungsort anzeigen.
Alle Teile der in 9 veranschaulichten Verarbeitung werden nicht notwendigerweise durch eine einzelne Vorrichtung durchgeführt, und die jeweiligen Verarbeitungsstücke werden nicht notwendigerweise in zeitlicher Reihenfolge durchgeführt.
Ergänzung
Anschließend ergänzt das Folgende die vorliegende Ausführungsform.
Ansammlungsanzeige
Die oben beschriebene Ausführungsform beschreibt hauptsächlich einen Fall des Benachrichtigens des Benutzers über die registrierte Aufgabe zum festgelegten Zeitpunkt, aber die vorliegende Ausführungsform ist nicht darauf beschränkt. Die registrierte Aufgabe kann immer an einem vorbestimmten Ort (im Folgenden auch als Ansammlungsort bezeichnet) wie etwa einer Wand eines Raums angezeigt werden. Infolgedessen kann der Benutzer eine Reihe von Aufgaben, die derzeit von ihm selbst ausgetragen werden, intuitiver verstehen. Bilddaten der anzuzeigenden Aufgabe können nur das Handschriftbild sein, das dem Aufgabeninhalt entspricht, oder die Benachrichtigungsbedingung oder das Attribut der Aufgabe können dazu hinzugefügt werden.
Die Informationsverarbeitungsvorrichtung 100 führt eine Steuerung durch, um die Aufgabe immer an einem vorbestimmten Ansammlungsort anzuzeigen, selbst in einem Fall, in dem der Benachrichtigungsort der Aufgabe beispielsweise als „Küche“ registriert ist, und um die zu benachrichtigende Aufgabe in der „Küche“ zu der Zeit, zu der die Zeitpunktbedingung hergestellt ist, anzuzeigen.
Das Folgende beschreibt ein Beispiel einer Ansammlungsanzeige gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 12. Wie auf der linken Seite von 12 veranschaulicht, schreibt der Benutzer beispielsweise im Fall, bei dem er an eine Aufgabe in einer Küche oder einer Toilette denkt, die zu registrierende Aufgabe mit dem digitalen Stift 210, einem Finger oder dergleichen an eine Wand. Die Informationsverarbeitungsvorrichtung 100 zeigt dann registrierte Aufgaben an einem vorbestimmten Ansammlungsort 30 (zum Beispiel einer Wand eines Raums) kollektiv an, wie auf der rechten Seite von 12 veranschaulicht. Infolgedessen kann der Benutzer die Reihe von Aufgaben, die derzeit von ihm selbst ausgetragen werden, auf einen Blick verstehen.
Die Ansammlungsrepräsentation gemäß der vorliegenden Ausführungsform ist nicht auf das in 12 veranschaulichte Beispiel beschränkt. Zum Beispiel, wie in 13 veranschaulicht, kann eine beutelartige Anzeige 27 verwendet werden. Die Informationsverarbeitungsvorrichtung 100 kann die Gewichtung der Aufgabe intuitiver repräsentieren, indem sie beispielsweise einen Dehnungsgrad oder eine Ausbreitung der beutelartigen Anzeige 27 gemäß der Anzahl von anzuzeigenden Aufgaben steuert.
Den Bilddaten jeder Aufgabe, die am Ansammlungsort 30 angezeigt werden, können Parameter wie etwa Masse, Elastizität, Anziehungskraft, eine Größe, eine Farbe oder dergleichen zugeteilt werden. Die Informationsverarbeitungsvorrichtung 100 steuert eine Anzeigeposition, eine Anzeigeanordnung, eine Anzeigegröße, eine Anzeigefarbe, eine Bewegung (Animation) oder dergleichen gemäß den Parametern zu der Zeit der Anzeige der Bilddaten der Aufgabe am Ansammlungsort 30 und ermöglicht, dass dem Benutzer der Status der angesammelten Aufgaben intuitiver dargestellt wird.
„Masse“ ist ein Parameter, der auf Kosten (Zeit, Personal, Werkzeug und dergleichen) basiert, die zum Beispiel zum Erledigen der Aufgabe erforderlich sind, und der durch die Informationsverarbeitungsvorrichtung 100 verwendet wird, um die Gewichtung der Aufgabe zu der Zeit der Ansammlungsanzeige zu repräsentieren. Insbesondere wird eine Aufgabe mit großer Masse (zum Beispiel eine schwere Aufgabe, deren Erledigung viel Zeit in Anspruch nimmt) zu der Zeit der Ansammlungsanzeige an einem unteren Teil angezeigt, und eine Aufgabe mit kleiner Masse (zum Beispiel eine leichte Aufgabe, die wenig Zeit zur Erledigung in Anspruch nimmt) wird zu der Zeit der Ansammlungsanzeige in einem oberen Teil angezeigt. Zu der Zeit des Hinzufügens einer neu registrierten Aufgabe zu der Ansammlungsanzeige kann die Informationsverarbeitungsvorrichtung 100 eine Animation, bei der die Aufgabe nach unten sinkt, oder eine Animation, bei der die Aufgabe gemäß der Masse nach oben schwebt, hinzufügen.
Der Massenparameter kann durch den Benutzer als eine Art Attribut über die Registrierungs-UI und dergleichen zu der Zeit der Registrierung eingegeben werden. Beispielsweise wenn angenommen wird, dass der Massenparameter sehr schwer ist: 2 Stunden oder mehr, schwer: 1 bis 2 Stunden, normal: 30 Minuten bis 1 Stunde, leicht: 5 Minuten bis 30 Minuten, sehr leicht: 5 Minuten oder weniger, und dergleichen. Die Systemseite kann automatisch einen vorab gemäß dem Aufgabeninhalt festgelegten Massenparameter festlegen. Durch Messen der tatsächlich benötigten Zeit zum Erledigen der Aufgabe, damit eine Tendenz erlernt wird, kann die Informationsverarbeitungsvorrichtung 100 automatisch einen geeigneten Massenparameter festlegen. Um beispielsweise die Zeit zu messen, die zum Erledigen der Aufgabe benötigt wird, wird zu der Zeit der Aufgabenbenachrichtigung ein Timer-Bildschirm angezeigt, und der Benutzer tippt zu der Zeit des Startens zum Erledigen der Aufgabe auf eine Starttaste auf dem Timer-Bildschirm und tippt auf eine Stopptaste zu der Zeit des Beendens. Dementsprechend kann die Informationsverarbeitungsvorrichtung 100 die tatsächlich zum Erledigen der Aufgabe benötigte Zeit aufzeichnen.
Beispielsweise ist „Elastizität“ ein Parameter, der auf dem Zustand der Aufgabe basiert, wie etwa Frische, Vergnügen oder Steifheit der Aufgabe (ob die Aufgabe beispielsweise offiziell oder privat ist) und durch die Informationsverarbeitungsvorrichtung 100 zur Repräsentation der Weichheit der Aufgabe zu der Zeit der Ansammlungsanzeige verwendet wird. Insbesondere kann die Informationsverarbeitungsvorrichtung 100 den Bilddaten der anzuzeigenden Aufgabe, die einen hohen Elastizitätsparameter aufweist (zum Beispiel einer kürzlich registrierten Aufgabe oder einer erfreulichen Aufgabe), eine weiche Farbe, Gestaltung oder Ausgestaltung verleihen, oder kann diesen eine springende Animation hinzufügen. Der Elastizitätsparameter kann durch den Benutzer zu der Zeit der Registrierung als eine Art von Attribut über die Registrierungs-UI und dergleichen eingegeben werden, oder die Systemseite kann automatisch einen im Voraus gemäß dem Aufgabeninhalt eingestellten Parameter festlegen.
„Anziehung“ ist ein Parameter, der einen Relevanzgrad für die anderen Aufgaben angibt. Die Relevanz ist eine Ähnlichkeit oder ein Übereinstimmungsgrad zwischen Teilen des Aufgabeninhalts oder zwischen Benachrichtigungsbedingungen. Zum Beispiel kann zu der Zeit der Durchführung der Ansammlungsanzeige die Informationsverarbeitungsvorrichtung 100 Aufgaben anzeigen, die beide hohe Anziehungsparameter aufweisen, sodass sie nahe zueinander sind, oder durch magnetische Kraft zueinander anzuziehen scheinen. Die Informationsverarbeitungsvorrichtung 100 kann auch Aufgaben anzeigen, die beide niedrige Anziehungsparameter aufweisen, sodass sie voneinander entfernt sind, oder sich durch magnetische Kraft gegenseitig abzustoßen scheinen. Der Anziehungsparameter kann durch den Benutzer zu der Zeit der Registrierung als eine Art von Attribut über die Registrierungs-UI und dergleichen eingegeben werden (beispielsweise welche Aufgabe von hoher Relevanz ist), oder kann durch die Systemseite gemäß dem Aufgabeninhalt oder der Benachrichtigungsbedingung automatisch eingestellt werden.
„Größe“ ist beispielsweise ein Parameter, der basierend auf einer Frist zum Erledigen der Aufgabe (Datum und Uhrzeit, die als eine Frist registriert sind, Benachrichtigungszeit oder dergleichen), Kosten, die zum Erledigen der Aufgabe erforderlich sind, und dergleichen festgelegt wird. Zum Beispiel kann die Informationsverarbeitungsvorrichtung 100 ein Unterdrückungsgefühl repräsentieren, indem sie die Bilddaten der Aufgabe, deren Frist (oder die Benachrichtigungszeit) sich nähert, mit einer Größe im umgekehrten Verhältnis zur Anzahl der verbleibenden Tage anzeigt, und kann den Benutzer auffordern, die Aufgabe zu erledigen. Das Datum und die Uhrzeit als eine Frist für die Aufgabe können durch den Benutzer über die Registrierungs-UI getrennt von der Benachrichtigungsbedingung eingegeben werden.
„Farbe“ ist beispielsweise ein Parameter, der auf einem erledigten/nicht erledigten Zustand der Aufgabe, der Wichtigkeit (in den oben beschriebenen Attributinformationen enthalten), einem Erledigungsort (Benachrichtigungsort) oder einem Benutzer, der für das Erledigen der Aufgabe verantwortlich ist (zu benachrichtigende Person), basiert und durch die Informationsverarbeitungsvorrichtung 100 zum Bestimmen der Anzeigefarbe der Aufgabe zu der Zeit der Ansammlungsanzeige verwendet wird. Durch das Anzeigen der Aufgaben in verschiedenen Farben für die jeweiligen Erledigungsorte und Benutzer, die für die Erledigung der Aufgabe verantwortlich sind, kann der Benutzer intuitiv die Anzahl der an einem gewissen Ort zu erledigenden Aufgaben oder die Anzahl der von einer gewissen Person zu erledigenden Aufgaben auf einen Blick verstehen. Durch das Anzeigen der Bilddaten der Aufgabe mit hoher Bedeutung in einer auffälligen Farbe wie etwa Rot kann der Benutzer auf die wichtige Aufgabe achten. Indem die Farbe einer erledigten Aufgabe in eine Farbe mit geringer Helligkeit geändert wird und die Anzeige von dieser am Ansammlungsort nicht verschwindet, kann der Benutzer auf das Erledigen der Aufgabe in der Vergangenheit zurückblicken und ein Erfolgserlebnis verspüren. Die Informationsverarbeitungsvorrichtung 100 kann veranlassen, dass eine erledigte Aufgabe im Laufe der Zeit allmählich blass (transmissiv) wird und am Ende verschwindet.
Die oben beschriebenen Parameter sind lediglich Beispiele. Ein anderer Parameter kann ferner hinzugefügt werden, oder die Attributinformationen und die Informationen wie etwa die Benachrichtigungsbedingung, der Aufgabeninhalt und der oben beschriebene Registrant können zur Berechnung des Parameters verwendet werden.
Die Informationsverarbeitungsvorrichtung 100 kann annehmen, dass die Größe des Ansammlungsortes (oder der Anzeige eines Beutels, einer Feldes und dergleichen, die am Ansammlungsort angezeigt werden) eine Kapazitätsgröße zum Erledigen der Aufgabe des Benutzers ist, und kann eine Anzeigesteuerung durchführen, sodass die Aufgaben den Ansammlungsort überlaufen, wenn die Kapazität zum Erledigen der Aufgabe des Benutzers überschritten wird. Der Fall, in dem die Kapazität zum Erledigen der Aufgabe des Benutzers überschritten wird, kann zum Beispiel basierend auf der für das Erledigen jeder Aufgabe erforderlichen Zeit, der Anzahl der verbleibenden Tage bis zur Frist, der Anzahl der Aufgaben oder dergleichen bestimmt werden, kann basierend auf einer Erfolgsbilanz des Erledigens von Aufgaben des Benutzers bestimmt werden, oder kann bestimmt werden, indem ein Zeitplan des Benutzers berücksichtigt wird. Aufgrund dessen kann der Benutzer verstehen, dass er übermäßige Aufgaben hat, und kann einfach und visuell einen Plan zum Erledigen der Aufgabe erstellen, wie etwa zum Erledigen einer kleineren Aufgabe (einer Aufgabe, die als klein angezeigt wird, da die für das Erledigen der Aufgabe erforderlichen Kosten klein sind) bevor das Datum und die Uhrzeit als eine Frist oder die Benachrichtigungszeit eintritt.
Gruppierung
Die Informationsverarbeitungsvorrichtung 100 kann die Aufgaben gruppieren, die dieselben oder ähnliche zu benachrichtigende Personen, Benachrichtigungsorte, Benachrichtigungsbedingungen oder dergleichen aufweisen, die mit Ansammlungsanzeige dargestellt werden sollen. Die Gruppierung kann unter Verwendung verschiedener Farben, durch Umgeben der Aufgaben mit einer umschließenden Linie oder einer als ein Cluster zu erkennende Figur oder unter Verwendung von Animationen derselben Bewegung repräsentiert werden.
Aus diesem Grund können beispielsweise durch getrenntes Anzeigen von Aufgaben eines Ehemanns und von Aufgaben einer Ehefrau an einer Wand und dergleichen die Arten der Aufgaben und deren Menge, die derzeit von jeder Person ausgetragen werden, gegenseitig und intuitiv verstanden werden. Somit ist es beispielsweise zu der Zeit der Bestimmung der Teilverantwortlichkeit der Hausarbeit möglich, vorteilhaft zu bestimmen, welche Person die Aufgabe erledigt, während die gegenseitige Situation verstanden wird. Durch Widerspiegeln der Anzeigegröße oder der Gewichtung im Anzeigemodus unter Verwendung der oben beschriebenen Parameter kann beispielsweise eine Kommunikation erzeugt werden, sodass der Ehemann die Aufgabe von der Ansammlungsanzeige für die Ehefrau zu seiner Ansammlungsanzeige verschiebt und die Aufgabe unter Berücksichtigung der Gewichtung und dergleichen der Aufgabe übernimmt. Zu der Zeit, zu der die Aufgabe von dem Ansammlungsort für die Ehefrau zu dem Ansammlungsort für den Ehemann verschoben wird, ändert die Informationsverarbeitungsvorrichtung 100 die zu benachrichtigende Person (Person, die die Aufgabe erledigt), die in der Benachrichtigungsbedingung für die Aufgabe enthalten ist, von „Ehefrau“ zu „Ehemann“.
Durch das Hinzufügen eines Anzeigegebiets für eine gemeinsame Aufgabe kann in einem Fall, in dem sich die Aufgaben jeder Person bei einem Maximum befinden, eine Aufgabe in die gemeinsame Aufgabe verschoben werden, und es ist möglich, visuell zu planen, die Aufgabe in Zusammenarbeit zu erledigen. Der Benutzer kann die an eine Wand und dergleichen geschriebene Aufgabe auch durch Gesten und dergleichen in ein Ansammlungsanzeigegebiet für eine Person, die die Erledigung der Aufgabe übernimmt, ziehen, und die Person, die die Aufgabe erledigt (eine Person, die die Benachrichtigung übernimmt), durch intuitive Bedienung designieren.
Automatische Zuordnung
Zu der Zeit, zu der die Aufgaben für die jeweiligen zu benachrichtigenden Personen (Personen, die die Aufgabe erledigen) getrennt angezeigt werden, in einem Fall, in dem eine allgemeine Aufgabe, die durch einen beliebigen Benutzer erledigt werden kann (zum Beispiel Hausarbeit wie Rausbringen von Müll, Reinigen und Einkaufen), registriert wird, kann die Informationsverarbeitungsvorrichtung 100 eine Anzeigesteuerung durchführen, um die gemeinsame Aufgabe automatisch einem Benutzer mit einer geringeren Anzahl angesammelter Aufgaben zuzuweisen und die Aufgabe dem Ansammlungsort für diesen Benutzer hinzufügen.
Die Informationsverarbeitungsvorrichtung 100 kann auch die Aufgaben für jede zu benachrichtigende Person und die im Ansammlungsort anzuzeigenden allgemeinen Aufgaben gruppieren und kann die gemeinsame Aufgabe automatisch einem beliebigen Benutzer in einem Fall zuweisen, in dem die gemeinsame Aufgabe erhöht wird.
In einem Fall des Hinzufügens der Aufgabe zu einem beliebigen der Benutzer durch automatische Zuweisung kann die Informationsverarbeitungsvorrichtung 100 eine Objektperson benachrichtigen, dass die Aufgabe automatisch zugewiesen wird. Indem die Objektperson darüber informiert wird, dass die automatische Zuweisung durch das System als eine Drittpartei durchgeführt wird, kann erwartet werden, dass der Benutzer versteht, dass die Zuweisung zweckmäßig basierend auf einer objektiven Bestimmung erfolgt, und die Aufgabe bereitwillig annimmt.
Die oben beschriebenen Variationen der Ansammlungsanzeige können optional miteinander kombiniert werden.
Anwendungsbeispiel
Als Nächstes beschreibt das Folgende ein Anwendungsbeispiel des Systems gemäß der vorliegenden Ausführungsform.
Maßnahmen, um niemals das reale Objekt zu vergessen, das beim Ausgehen mitgeführt werden sollte
Angenommen wird beispielsweise ein Fall, in dem ein Benutzer A nachts vor dem Tag, zu dem er in sein Büro geht, an eine Aufgabe denkt, morgen früh auf dem Weg zum nächstgelegenen Bahnhof einen Brief in die Post einzuwerfen. Der Benutzer A legt den Brief auf einen Schreibtisch in seinem Raum, da eine Frist für das Eintreffen des Briefes unmittelbar bevorsteht, berührt den Brief mit dem digitalen Stift 210 (eine Designierungsoperation eines zugehörigen realen Objekts), umgibt danach die Peripherie des Briefes mit einer gezackten Markierung (Repräsentation, die eine wichtige Aufgabe angibt), schreibt „morgen früh in die Post einwerfen!“ und registriert die Aufgabe.
Am Morgen des folgenden Tages, wenn der Benutzer A aufsteht und an dem Schreibtisch vorbeiläuft, werden die Markierung und die Worte, die gestern geschrieben wurden, durch den Projektor 410 projiziert. Der Benutzer A erinnert sich an die Aufgabe, indem er die projizierten Benachrichtigungsinformationen betrachtet, geht jedoch ohne den Brief zur Toilette, weil er sofort zur Toilette gehen möchte. Danach wird keine Aufgabenabschlussoperation durchgeführt, sodass die Informationsverarbeitungsvorrichtung 100 den Benutzer wiederholt über den Aufgabeninhalt gemäß der Wiederholungseinstellung benachrichtigt. Insbesondere zeigt die Informationsverarbeitungsvorrichtung 100 kontinuierlich die Aufgabe an einer Wand oder auf einem Tisch in der Peripherie dem Benutzer A bei der Vorbereitung auf die Abreise folgend an, aber der Benutzer A bemerkt die Aufgabe in einigen Fällen nicht, weil er zu beschäftigt ist. Zu der Zeit, zu der sich der Benutzer schließlich zu einem Eingang bewegt, zeigt die Informationsverarbeitungsvorrichtung 100 mit einem Blinken ein Bild des Briefs (Anzeige, die das reale Objekt angibt) und die Worte „morgen früh in die Post einwerfen!“ (Handschriftbild) an einer Eingangstür an, und ermöglicht es dem Benutzer A, durch die finale Benachrichtigung zu bemerken, dass er den Brief im Raum gelassen hat.
Verwendung als Ersatz für Whiteboard in Büroszenen
Durch das Anwenden des Systems gemäß der vorliegenden Ausführungsform auf Büroszenen kann eine Notiz oder eine Aufgabe jederzeit an einer Wand oder auf einem Schreibtisch in einem Konferenzraum, einer Wand eines Korridors, einem persönlichen Schreibtisch und dergleichen mit dem digitalen Stift 210, einem Finger und dergleichen gezeichnet und registriert werden.
Beispielsweise kann der Benutzer Brainstorming mit einem Mitarbeiter durchführen, der dem Benutzer in einem Korridor eines Unternehmens begegnet, während er mit dem digitalen Stift 210 oder einer Fingerspitze frei Zeichen oder Illustrationen an eine Wand zeichnet, und kann eine wichtige Idee, die dem Benutzer einfällt, als eine Aufgabe registrieren. In diesem Fall kann der Benutzer ein Material oder einen Prototyp, der zu der Zeit des Brainstormings von ihm selbst gehalten wurde, unter Verwendung des digitalen Stifts 210 umgeben oder ihm eine spezifische Markierung geben, die durch die in der Peripherie angeordneten Kamera 350 abgebildet werden soll, und kann veranlassen, dass ein aufgenommenes Bild an einer Wand ausgegeben wird. Aufgrund dessen können Informationen ohne Einschränkung der Virtualität und des Realen offengelegt und geteilt werden.
Die registrierte Idee wird auf der Systemseite abgespeichert, sodass die Idee auf dem Schreibtisch angezeigt werden kann, wenn der Benutzer danach zu seinem Platz zurückkehrt, oder auf einem PC, einem Tablet-Endgerät und dergleichen als Bilddaten oder Textdaten angezeigt werden kann.
Durch das kontinuierliche Anzeigen der Idee, die dem Benutzer eingefallen ist, zusammen mit den Worten „Wenn Sie eine andere Idee haben, schreiben Sie sie bitte hier!“ an der Wand des Korridors, können beispielsweise andere vorbeikommende Mitarbeiter anschließend Ideen schreiben, um die Idee zu polieren. Die Informationsverarbeitungsvorrichtung 100 kann eine Steuerung zum Anzeigen und Ausgeben eines Handschriftbildes einer solchen an der Wand gezeichneten Idee zu der Zeit durchführen, wenn ein Mitarbeiter an der Wand vorbeiläuft.
Übertragung einer Aufgabe, die einem Benutzer einfiel, wenn er nach Hause geht
Mit dem System gemäß der vorliegenden Ausführungsform kann eine Aufgabe, die von zu Hause weg registriert wird, zu Hause angezeigt werden. Zum Beispiel geht eine Benutzerin nach dem Schminken mit einer neu gekauften Foundation aus, aber die Benutzerin verspürt ein Gefühl der Inkongruenz auf ihrer Haut und erkennt, dass die Foundation ihrer Haut nicht bekommt. Die Benutzerin startet dann eine Anwendung eines Smartphones, legt „Foundation“ als ein reales Objekt fest, das als eine Aufgabe angezeigt werden soll, und gibt „Nicht verwenden. Neue Foundation ausprobieren“ als zu registrierenden Aufgabeninhalt ein. In einem Fall, in dem die Benutzerin an diesem Tag nach Hause zurückkehrt und ein Schlafzimmer betritt, hebt die Informationsverarbeitungsvorrichtung 100 die Peripherie der Foundation, die auf einem Schminktisch im Schlafzimmer gelegt wurde, mit einer spezifischen Markierung hervor, und zeigt (projiziert) Worte von „Nicht verwenden. Neue Foundation ausprobieren“ basierend auf der registrierten Aufgabe an. Auf diese Weise kann die Aufgabe, die unter Verwendung eines Smartphones und dergleichen von zu Hause weg registriert wird, auf dem zugehörigen realen Objekt zu Hause angezeigt werden, und die Bequemlichkeit der Aufgabenverwaltung durch den Benutzer kann erheblich verbessert werden.
Effekte
Das System gemäß der vorliegenden Ausführungsform wurde oben spezifisch beschrieben.
Gemäß der vorliegenden Ausführungsform wird der Aufgabeninhalt an einem Ort, an dem die Aufgabe erledigt werden soll, oder an dem realen Objekt, das zum Erledigen der Aufgabe verwendet wird, ausgegeben (insbesondere angezeigt und projiziert), sodass der Benutzer die Aufgabe intuitiv verstehen und sofort mit dem Arbeiten anfangen kann, und die Effizienz wird dementsprechend verbessert.
Zu der Zeit der Benachrichtigung der Aufgabe, die die Benachrichtigungsbedingung erfüllt, kann die Informationsverarbeitungsvorrichtung 100 auch eine andere Aufgabe ausgeben, die zur gleichen Zeit an demselben Ort (einschließlich einer Aufgabe, die die Benachrichtigungsbedingung nicht erfüllt) erledigt werden kann. Aufgrund dessen kann der Benutzer die andere Aufgabe bei dieser Gelegenheit erledigen und die Effizienz kann weiter verbessert werden.
Selbst in einem Fall, in dem sich das reale Objekt nicht in der Nähe des Benutzers (zu benachrichtigenden Person) befindet, kann der Benutzer durch Anzeigen der Informationen, die das reale Objekt angeben, im Umfeld des Benutzers zusammen mit dem Benachrichtigungsinhalt intuitiver verstehen, wofür die Aufgabe verwendet werden soll.
Der anzuzeigende Aufgabeninhalt ist ein von Hand eingegebenes Handschriftbild, sodass verschiedene Arten von Aufgabeninhalten wie etwa ein Zeichen, eine Grafik und eine Illustration bearbeitet werden können, und die Bequemlichkeit der Aufgabenverwaltung wird verbessert.
In der oben beschriebenen Ausführungsform wird „Aufgabe“ als ein Beispiel für die Benachrichtigungsinformationen verwendet, aber die vorliegende Ausführungsform ist nicht darauf beschränkt. Die Benachrichtigungsinformationen können „Idee“, „Nachricht“, „Notiz“ und dergleichen sein. Es ist möglich, die Kommunikation zwischen Familienmitgliedern zu implementieren, wie etwa eine Nachricht zusammen mit einer Illustration und dergleichen zu hinterlassen und sie an ein Familienmitglied auszugeben, dessen Lebenszeitraum unterschiedlich ist.
Hardwarekonfiguration
Als Nächstes beschreibt das Folgende ein Hardwarekonfigurationsbeispiel der Informationsverarbeitungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Offenbarung. 14 ist ein Blockdiagramm, das ein Hardwarekonfigurationsbeispiel der Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. In 14 beinhaltet die Informationsverarbeitungsvorrichtung 100 beispielsweise eine CPU 871, einen ROM 872, einen RAM 873, einen Hostbus 874, eine Brücke 875, einen externen Bus 876, eine Schnittstelle 877, eine Eingabevorrichtung 878, eine Ausgabevorrichtung 879, eine Speicherung 880, ein Laufwerk 881, einen Verbindungsport 882 und eine Kommunikationsvorrichtung 883. Die hierin beschriebene Hardwarekonfiguration ist lediglich ein Beispiel, und ein Teil der Bestandteile davon kann weggelassen werden. Die Hardwarekonfiguration kann ferner ein anderes Bestandteil als die hierin beschriebenen Bestandteile enthalten.
(CPU 871)
Die CPU 871 fungiert beispielsweise als eine arithmetische Verarbeitungsvorrichtung oder eine Steuervorrichtung und steuert den gesamten oder einen Teil der Operationen der Bestandteile basierend auf verschiedenen Computerprogrammen, die in dem ROM 872, dem RAM 873, der Speicherung 880 oder einem entfernbaren Aufzeichnungsmedium 901 aufgezeichnet sind.
Insbesondere implementiert die CPU 871 die Operationen der Handschrifterkennungseinheit 120, der Gestendetektionseinheit 130, der Kartenverwaltungseinheit 140, der Benutzerpositionsspezifizierungseinheit 150, der Benutzererkennungseinheit und der Steuereinheit 170 in der Informationsverarbeitungsvorrichtung 100.
ROM 872, RAM 873
Der ROM 872 ist eine Einheit, die ein von der CPU 871 gelesenes Computerprogramm, Daten, die für eine arithmetische Operation verwendet werden, und dergleichen speichert. Beispielsweise speichert der RAM 873 vorübergehend oder dauerhaft ein von der CPU 871 gelesenes Computerprogramm, verschiedene Parameter, die zu der Zeit der Ausführung des Computerprogramms geeignet variieren, und dergleichen.
Hostbus 874, Brücke 875, externer Bus 876, Schnittstelle 877
Die CPU 871, der ROM 872 und der RAM 873 sind über den Hostbus 874 miteinander verbunden, der beispielsweise eine schnelle Datenübertragung durchführen kann. Andererseits ist der Hostbus 874 über die Brücke 875 mit dem externen Bus 876 verbunden, dessen Datenübertragungsgeschwindigkeit beispielsweise relativ niedrig ist. Der externe Bus 876 ist über die Schnittstelle 877 mit verschiedenen Bestandteilen verbunden.
Eingabevorrichtung 878
Als die Eingabevorrichtung 878 werden beispielsweise eine Maus, eine Tastatur, ein Touchpanel, eine Taste, ein Schalter und ein Hebel verwendet. Zusätzlich kann als die Eingangsvorrichtung 878 eine Fernsteuerung (im Folgenden als Fernbedienung bezeichnet) verwendet werden, wobei die Fernbedienung in der Lage ist, ein Steuersignal unter Verwendung von Infrarotstrahlen oder anderen Funkwellen zu übertragen. Die Eingabevorrichtung 878 kann auch eine Spracheingabevorrichtung, wie etwa ein Mikrofon, enthalten.
Ausgabevorrichtung 879
Die Ausgabevorrichtung 879 ist beispielsweise eine Vorrichtung, die den Benutzer visuell oder akustisch über erfasste Informationen benachrichtigen kann, das heißt eine Anzeigevorrichtung, wie etwa eine Kathodenstrahlröhre (CRT), ein LCD oder eine organische EL, eine Audioausgabevorrichtung wie etwa ein Lautsprecher und ein Kopfhörer, ein Drucker, ein Mobiltelefon, ein Fax oder dergleichen. Die Ausgabevorrichtung 879 gemäß der vorliegenden Offenbarung beinhaltet verschiedene Vibrationsvorrichtungen, die eine taktile Stimulation ausgeben können.
Speicherung 880
Die Speicherung 880 ist eine Vorrichtung zum Speichern verschiedener Arten von Daten. Als die Speicherung 880 werden beispielsweise magnetische Speicherungsvorrichtungen wie etwa ein Festplattenlaufwerk (HDD), eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung, eine magnetooptische Speicherungsvorrichtung oder dergleichen verwendet.
Laufwerk 881
Das Laufwerk 881 ist beispielsweise eine Vorrichtung, die in dem entfernbaren Aufzeichnungsmedium 901, wie einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte oder einem Halbleiterspeicher aufgezeichnete Informationen ausliest oder Informationen in das entfernbare Aufzeichnungsmedium 901 schreibt.
Entfernbares Aufzeichnungsmedium 901
Das entfernbare Aufzeichnungsmedium 901 ist beispielsweise ein DVD-Medium, ein Blu-ray-Medium (eingetragenes Warenzeichen), ein HD-DVD-Medium, verschiedene Arten von Halbleiterspeicherungsmedien oder dergleichen. Offensichtlich kann das entfernbare Aufzeichnungsmedium 901 beispielsweise eine IC-Karte, auf der ein Kontaktlos-IC-Chip montiert ist, ein elektronisches Gerät oder dergleichen sein.
Verbindungsport 882
Der Verbindungsport 882 ist beispielsweise ein Port zum Anschließen eines externen Verbindungsgeräts 902, wie etwa ein USB-Port (Universal Serial Bus), ein IEEE1394-Port, eine SCSI-Schnittstelle (Small Computer System Interface), ein RS-232C-Port oder ein optischer Audio-Anschluss.
Externe Verbindungsvorrichtung 902
Die externe Verbindungsvorrichtung 902 ist beispielsweise ein Drucker, ein tragbarer Musikspieler, eine Digitalkamera, eine digitale Videokamera, ein IC-Rekorder oder dergleichen.
Kommunikationsvorrichtung 883
Die Kommunikationsvorrichtung 883 ist eine Kommunikationsvorrichtung zum Herstellen einer Verbindung mit einem Netzwerk, und Beispiele hierfür beinhalten eine Kommunikationskarte für drahtgebundenes oder drahtloses LAN, WiFi (eingetragenes Markenzeichen), Bluetooth (eingetragenes Markenzeichen) oder drahtloses USB (WUSB), einen Router für optische Kommunikation, einen Router für die asymmetrische digitale Teilnehmerleitung (ADSL), ein Modem für verschiedene Arten der Kommunikation oder dergleichen.
Schlussfolgerung
Die bevorzugte Ausführungsform der vorliegenden Offenbarung wurde oben ausführlich unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, aber die vorliegende Technik ist nicht darauf beschränkt. Ein Fachmann auf dem Fachgebiet der vorliegenden Offenbarung kann sich offensichtlich verschiedene Beispiele für Varianten oder Modifikationen vorstellen, ohne von der in den ANSPRÜCHEN offenbarten technischen Idee abzuweichen, und diese Varianten oder Modifikationen sind offensichtlich durch den technischen Schutzumfang der vorliegenden Offenbarung eingeschlossen.
Beispielsweise ist es möglich, ein Computerprogramm zu erstellen, um zu bewirken, dass Hardware wie etwa eine CPU, ein ROM und ein RAM, die in der oben beschriebenen Informationsverarbeitungsvorrichtung 100 enthalten sind, als die Informationsverarbeitungsvorrichtung 100 fungiert. Zusätzlich wird ein computerlesbares Speichermedium bereitgestellt, das das Computerprogramm speichert.
Die in der vorliegenden Beschreibung beschriebenen Effekte dienen lediglich als Erläuterungen oder als Beispiele und sind nicht als Beschränkung vorgesehen. Das heißt, dass die Technik gemäß der vorliegenden Offenbarung andere Effekte zeigen kann, die für den Fachmann, basierend auf der Beschreibung hierin zusätzlich zu oder anstelle der oben beschriebenen Effekte, offensichtlich denkbar sind.
Die vorliegende Technik kann auch die folgenden Konfigurationen einsetzen.

(1) Eine Informationsverarbeitungsvorrichtung, die Folgendes umfasst:
- eine Steuereinheit, die dazu ausgelegt ist, Folgendes durchzuführen:
  - eine Verarbeitung zum Bestimmen, ob ein mit dem Benachrichtigungsinhalt assoziiertes reales Objekt an demselben Ort vorhanden ist wie eine zu benachrichtigende Person zu der Zeit, zu der eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist, und
  - eine Verarbeitung zum Ausgeben des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
(2) Die Informationsverarbeitungsvorrichtung nach (1) oder (2), wobei die Steuereinheit
- den Benachrichtigungsinhalt an die Position ausgibt, die sich auf das reale Objekt bezieht, in einem Fall, in dem das reale Objekt vorhanden ist, und
- den Benachrichtigungsinhalt zusammen mit Informationen, die das reale Objekt angeben, an denselben Ort wie die zu benachrichtigende Person ausgibt, in einem Fall, in dem das reale Objekt nicht vorhanden ist.
(3) Die Informationsverarbeitungsvorrichtung nach (2), wobei die auf das reale Objekt bezogene Position mindestens eine von Positionen auf dem realen Objekt oder in der Peripherie des realen Objekts ist.
(4) Die Informationsverarbeitungsvorrichtung nach (2), wobei die Benachrichtigungsbedingung zumindest eine Benachrichtigungszeit, einen Benachrichtigungsort oder die zu benachrichtigende Person beinhaltet.
(5) Die Informationsverarbeitungsvorrichtung nach (4), wobei die Benachrichtigungszeit eine vorbestimmte Zeit, eine Timereinstellung oder ein vorbestimmter Zeitpunkt ist.
(6) Die Informationsverarbeitungsvorrichtung nach (4) oder (5), wobei die Steuereinheit eine Steuerung zum Anzeigen des Benachrichtigungsinhalts auf dem realen Objekt an dem Benachrichtigungsort in einem Fall durchführt, in dem eine Bedingung für die Benachrichtigungszeit erfüllt ist.
(7) Die Informationsverarbeitungsvorrichtung nach einem von (4) bis (6), wobei die Steuereinheit
- die zu benachrichtigende Person anhand der von einem Bereich erfassten Erfassungsdaten erkennt, und
- zu der Benachrichtigungszeit den Benachrichtigungsinhalt auf dem realen Objekt in einem Fall ausgibt, in dem das reale Objekt vorhanden ist, und den Benachrichtigungsinhalt in der Nähe der zu benachrichtigenden Person zusammen mit den Informationen, die das reale Objekt angeben, in einem Fall ausgibt, in dem das reale Objekt nicht vorhanden ist.
(8) Die Informationsverarbeitungsvorrichtung nach einem von (4) bis (7), wobei Attributinformationen mit dem Benachrichtigungsinhalt assoziiert sind, und die Steuereinheit die Ausgabe des Benachrichtigungsinhalts gemäß den Attributinformationen steuert.
(9) Die Informationsverarbeitungsvorrichtung nach (8) oder (2), wobei die Attributinformationen Wichtigkeit enthalten, und die Steuereinheit einen Ausgabemodus zu der Zeit der Ausgabe des Benachrichtigungsinhalts gemäß der Wichtigkeit ändert.
(10) Die Informationsverarbeitungsvorrichtung nach (8) oder (9), wobei die Attributinformationen eine Sicherheitsbedingung enthalten, und die Steuereinheit eine Steuerung zum Ausgeben des Benachrichtigungsinhalts in einem Fall durchführt, in dem die Benachrichtigungsbedingung und die Sicherheitsbedingung erfüllt sind.
(11) Die Informationsverarbeitungsvorrichtung nach einem von (8) bis (10), wobei die Attributinformationen eine Wiederholungseinstellung enthalten, und die Steuereinheit eine Verarbeitung zum wiederholten Ausgeben des Benachrichtigungsinhalts gemäß der Wiederholungseinstellung durchführt.
(12) Die Informationsverarbeitungsvorrichtung nach einem von (4) bis (11), wobei die Steuereinheit eine erste Eingabeoperation zum Eingeben des Benachrichtigungsinhalts, die durch eine eingebende Person durchgeführt wird, basierend auf Erfassungsdaten, die durch einen in einem Bereich angeordneten Umgebungssensor erfasst werden, detektiert.
(13) Die Informationsverarbeitungsvorrichtung nach (12) oder (2), wobei die erste Eingabeoperation eine Eingabeoperation unter Verwendung eines Bedienungskörpers ist, und die Steuereinheit eine Steuerung für Folgendes durchführt:
- Detektieren einer Ortskurve des Bedienungskörpers basierend auf den Erfassungsdaten, und
- Projizieren der erkannten Ortskurve.
(14) Die Informationsverarbeitungsvorrichtung nach (13) oder (2), wobei die Steuereinheit die folgende Verarbeitung durchführt:
- Detektieren einer zweiten Eingabeoperation zum Registrieren des Benachrichtigungsinhalts, die durch die eingegebene Person basierend auf den Erfassungsdaten durchgeführt wird; und
- Speichern der projizierten Ortskurve in einer Speicherungseinheit als Benachrichtigungsinformation zu der Zeit, zu der die zweite Eingabeoperation detektiert wird.
(15) Die Informationsverarbeitungsvorrichtung nach (14) oder (2), wobei die Steuereinheit
- das reale Objekt in Bezug auf den Benachrichtigungsinhalt basierend auf der ersten Eingabeoperation erkennt, und
- Informationen, die das erkannte reale Objekt angeben, in der Speicherungseinheit in Assoziation mit dem Benachrichtigungsinhalt speichert.
(16) Die Informationsverarbeitungsvorrichtung nach (14), wobei die Steuereinheit eine Steuerung zum Anzeigen der in der Speicherungseinheit gespeicherten Benachrichtigungsinformationen in einem vorbestimmten Gebiet in einem Bereich durchführt, unabhängig davon, ob die Benachrichtigungsbedingung erfüllt ist.
(17) Die Informationsverarbeitungsvorrichtung nach (16), wobei die Steuereinheit einen Anzeigemodus der Benachrichtigungsinformationen in dem vorbestimmten Gebiet basierend auf einem Parameter steuert, der zu den Benachrichtigungsinformationen hinzugefügt wird.
(18) Die Informationsverarbeitungsvorrichtung nach (16) oder (17), wobei die Steuereinheit die Benachrichtigungsinformationen gemäß der Benachrichtigungszeit, der zu benachrichtigenden Person oder dem Benachrichtigungsort, der in dem vorbestimmten Gebiet angezeigt werden soll, gruppiert.
(19) Ein Informationsverarbeitungsverfahren, das Folgendes umfasst:
- Bestimmen, durch einen Prozessor, ob ein mit dem Benachrichtigungsinhalt assoziiertes reales Objekt an demselben Ort vorhanden ist wie eine zu benachrichtigende Person zu der Zeit, zu der eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist, und
- Ausgeben, durch den Prozessor, des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
(20) Ein Aufzeichnungsmedium, auf dem ein Computerprogramm aufgezeichnet ist, wobei das Computerprogramm veranlasst, dass ein Computer als eine Steuereinheit fungiert, die dazu ausgelegt ist, Folgendes durchzuführen:
- eine Verarbeitung zum Bestimmen, ob ein mit dem Benachrichtigungsinhalt assoziiertes reales Objekt an demselben Ort vorhanden ist wie eine zu benachrichtigende Person zu der Zeit, zu der eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist; und
- eine Verarbeitung zum Ausgeben des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.

Bezugszeichenliste

1: System
10: Reales Objekt
20: Benachrichtigungsinformationen
21: Handschriftbild
22: Benachrichtigungsinformationen
100: Informationsverarbeitungsvorrichtung
110: I/F-Einheit
120: Handschrifterkennungseinheit
130: Gestendetektionseinheit
131: Spracherkennungseinheit
140: Kartenverwaltungseinheit
150: Benutzerpositionsspezifizierungseinheit
160: Benutzererkennungseinheit
170: Steuereinheit
171: Anzeigedatenerzeugungseinheit
173: Aufgabenregistrierungseinheit
180: Timer
190: Speicherungseinheit
200: Eingabevorrichtung
210: Digitaler Stift
220: Touchpanel
230: Tastatur
300: Sensorvorrichtung
310: Menschensensor
320: Beschleunigungssensor
330: Tiefensensor
340: Mikrofon
350: Kamera
360: Gyrosensor
370: Geomagnetischer Sensor
400: Ausgabevorrichtung
410: Projektor
420: Anzeige
430: Lautsprecher
440: Unidirektionaler Lautsprecher
874: Hostbus
875: Brücke
876: Externer Bus
877: Schnittstelle
878: Eingabevorrichtung
879: Ausgabevorrichtung
880: Speicherung
881: Laufwerk
882: Verbindungsport
883: Kommunikationsvorrichtung
901: Entfernbares Aufzeichnungsmedium
902: Externes Verbindungsgerät

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014021428 A [0005]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Steuereinheit, die dazu ausgelegt ist, Folgendes durchzuführen: eine Verarbeitung zum Bestimmen, ob ein mit dem Benachrichtigungsinhalt assoziiertes reales Objekt an demselben Ort vorhanden ist wie eine zu benachrichtigende Person zu der Zeit, zu der eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist, und eine Verarbeitung zum Ausgeben des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Steuereinheit den Benachrichtigungsinhalt an die Position ausgibt, die sich auf das reale Objekt bezieht, in einem Fall, in dem das reale Objekt vorhanden ist, und den Benachrichtigungsinhalt zusammen mit Informationen, die das reale Objekt angeben, an denselben Ort wie die zu benachrichtigende Person ausgibt, in einem Fall, in dem das reale Objekt nicht vorhanden ist.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die auf das reale Objekt bezogene Position mindestens eine von Positionen auf dem realen Objekt oder in der Peripherie des realen Objekts ist.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Benachrichtigungsbedingung zumindest eine Benachrichtigungszeit, einen Benachrichtigungsort oder die zu benachrichtigende Person beinhaltet.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Benachrichtigungszeit eine vorbestimmte Zeit, eine Timereinstellung oder ein vorbestimmter Zeitpunkt ist.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Steuereinheit eine Steuerung zum Anzeigen des Benachrichtigungsinhalts auf dem realen Objekt an dem Benachrichtigungsort in einem Fall durchführt, in dem eine Bedingung für die Benachrichtigungszeit erfüllt ist.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Steuereinheit die zu benachrichtigende Person anhand der von einem Bereich erfassten Erfassungsdaten erkennt, und zu der Benachrichtigungszeit den Benachrichtigungsinhalt auf dem realen Objekt in einem Fall ausgibt, in dem das reale Objekt vorhanden ist, und den Benachrichtigungsinhalt in der Nähe der zu benachrichtigenden Person zusammen mit den Informationen, die das reale Objekt angeben, in einem Fall ausgibt, in dem das reale Objekt nicht vorhanden ist.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei Attributinformationen mit dem Benachrichtigungsinhalt assoziiert sind, und die Steuereinheit die Ausgabe des Benachrichtigungsinhalts gemäß den Attributinformationen steuert.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Attributinformationen Wichtigkeit enthalten, und die Steuereinheit einen Ausgabemodus zu der Zeit der Ausgabe des Benachrichtigungsinhalts gemäß der Wichtigkeit ändert.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Attributinformationen eine Sicherheitsbedingung enthalten, und die Steuereinheit eine Steuerung zum Ausgeben des Benachrichtigungsinhalts in einem Fall durchführt, in dem die Benachrichtigungsbedingung und die Sicherheitsbedingung erfüllt sind.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Attributinformationen eine Wiederholungseinstellung enthalten, und die Steuereinheit eine Verarbeitung zum wiederholten Ausgeben des Benachrichtigungsinhalts gemäß der Wiederholungseinstellung durchführt.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Steuereinheit eine erste Eingabeoperation zum Eingeben des Benachrichtigungsinhalts, die durch eine eingebende Person durchgeführt wird, basierend auf Erfassungsdaten, die durch einen in einem Bereich angeordneten Umgebungssensor erfasst werden, detektiert.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei die erste Eingabeoperation eine Eingabeoperation unter Verwendung eines Bedienungskörpers ist, und die Steuereinheit eine Steuerung für Folgendes durchführt: Detektieren einer Ortskurve des Bedienungskörpers basierend auf den Erfassungsdaten, und Projizieren der erkannten Ortskurve.
Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei die Steuereinheit die folgende Verarbeitung durchführt: Detektieren einer zweiten Eingabeoperation zum Registrieren des Benachrichtigungsinhalts, die durch die eingegebene Person basierend auf den Erfassungsdaten durchgeführt wird; und Speichern der projizierten Ortskurve in einer Speicherungseinheit als Benachrichtigungsinformation zu der Zeit, zu der die zweite Eingabeoperation detektiert wird.
Informationsverarbeitungsvorrichtung nach Anspruch 14, wobei die Steuereinheit das reale Objekt in Bezug auf den Benachrichtigungsinhalt basierend auf der ersten Eingabeoperation erkennt, und Informationen, die das erkannte reale Objekt angeben, in der Speicherungseinheit in Assoziation mit dem Benachrichtigungsinhalt speichert.
Informationsverarbeitungsvorrichtung nach Anspruch 14, wobei die Steuereinheit eine Steuerung zum Anzeigen der in der Speicherungseinheit gespeicherten Benachrichtigungsinformationen in einem vorbestimmten Gebiet in einem Bereich durchführt, unabhängig davon, ob die Benachrichtigungsbedingung erfüllt ist.
Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei die Steuereinheit einen Anzeigemodus der Benachrichtigungsinformationen in dem vorbestimmten Gebiet basierend auf einem Parameter steuert, der zu den Benachrichtigungsinformationen hinzugefügt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei die Steuereinheit die Benachrichtigungsinformationen gemäß der Benachrichtigungszeit, der zu benachrichtigenden Person oder dem Benachrichtigungsort, der in dem vorbestimmten Gebiet angezeigt werden soll, gruppiert.
Informationsverarbeitungsverfahren, das Folgendes aufweist: Bestimmen, durch einen Prozessor, ob ein mit dem Benachrichtigungsinhalt assoziiertes reales Objekt an demselben Ort vorhanden ist wie eine zu benachrichtigende Person zu der Zeit, zu der eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist, und Ausgeben, durch den Prozessor, des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.
Aufzeichnungsmedium, auf dem ein Computerprogramm aufgezeichnet ist, wobei das Computerprogramm veranlasst, dass ein Computer als eine Steuereinheit fungiert, die dazu ausgelegt ist, Folgendes durchzuführen: eine Verarbeitung zum Bestimmen, ob ein mit dem Benachrichtigungsinhalt assoziiertes reales Objekt an demselben Ort vorhanden ist wie eine zu benachrichtigende Person zu der Zeit, zu der eine mit dem Benachrichtigungsinhalt assoziierte Benachrichtigungsbedingung erfüllt ist; und eine Verarbeitung zum Ausgeben des Benachrichtigungsinhalts an eine Position, die sich auf das reale Objekt bezieht, abhängig davon, ob das reale Objekt vorhanden ist.