JP2005352923A - Device and method for storing information - Google Patents
Device and method for storing information Download PDFInfo
- Publication number
- JP2005352923A JP2005352923A JP2004174762A JP2004174762A JP2005352923A JP 2005352923 A JP2005352923 A JP 2005352923A JP 2004174762 A JP2004174762 A JP 2004174762A JP 2004174762 A JP2004174762 A JP 2004174762A JP 2005352923 A JP2005352923 A JP 2005352923A
- Authority
- JP
- Japan
- Prior art keywords
- information
- annotation
- input
- user
- presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報蓄積装置及び情報蓄積方法に関し、特に、使用者が経験した事象に関連する情報と使用者が私的に必要とするアノテーションとを関連付けて記憶する情報蓄積装置及び情報蓄積方法に関する。 The present invention relates to an information storage device and an information storage method, and more particularly, to an information storage device and an information storage method for storing information related to an event experienced by a user and an annotation privately required by the user in association with each other. .
近年、いわゆるインターネットのようなネットワーク網の発達や、大容量記録媒体の普及等により、膨大な情報を提供したり入手したりできる環境が整備されつつある。また、これに伴って種々の情報提供サービスが提案されており、これら情報提供サービスでは、大量の情報を効率的・効果的に取り扱うために様々な工夫がされている。膨大な情報のなかから個人が個別に必要とする情報を如何に効率よく提供するかは、１つの重要な要素となっている。 2. Description of the Related Art In recent years, an environment in which a vast amount of information can be provided and obtained has been improved due to the development of a network such as the Internet and the spread of a large-capacity recording medium. Along with this, various information providing services have been proposed, and these information providing services have been devised in various ways to handle a large amount of information efficiently and effectively. One of the important factors is how to efficiently provide information that an individual needs from a vast amount of information.
一例として、情報を提供する側は、提供先である使用者個人の嗜好性を抽出することによって個人毎に特徴付けをし、これに合致した情報やサービスを提供する手法（提供する情報のパーソナライゼーション）を採っている。これは、例えばネットワーク上のサイトから物品を購入できるオンラインサービス等に採用されている。 As an example, the information providing side characterizes each individual by extracting the personal preference of the user who is the providing destination, and provides information and services that match this (a personal information provider). )). This is adopted for an online service or the like that can purchase goods from a site on a network, for example.
ネットワーク上で書籍を購入できるサービスでは、情報のパーソナライゼーションを導入することによって、ユーザがある書籍を購入したとき、購入した書籍の著者の作品一覧から推薦図書を提示する機能、このユーザと同一書籍を購入したほかのユーザ群が購入したほかの書籍を提示する機能、このユーザが役立つと思う情報を他のユーザへと知らせる機能等を実現している。また、情報提供を受ける側（情報を閲覧する側）は、使用者個人の嗜好に応じて動作環境や設定等がカスタマイゼーション（変更）できるようにしている。カスタマイゼーションのなかには、例えば、パーソナルコンピュータ、携帯型個人情報端末等の電子機器において、マウスの応答性を変更できたりウィンドウの配色やフォントを個人の好みに合わせて変更できたりする機能も含まれる。このように、情報のパーソナライゼーションやカスタマイゼーションを行うことで、情報を効率的かつ効果的に使用できるようにしたシステムは、既に知られている。 In a service that allows you to purchase books on the network, by introducing information personalization, when a user purchases a book, a function that presents a recommended book from the work list of the author of the purchased book, the same book as this user A function of presenting other books purchased by other user groups who purchased the product, a function of notifying other users of information that the user thinks useful, and the like are realized. In addition, the side receiving information (the side viewing information) can customize (change) the operating environment, settings, and the like according to individual user preferences. The customization includes, for example, a function of changing the responsiveness of the mouse and changing the color scheme and font of the window according to personal preference in an electronic device such as a personal computer or a portable personal information terminal. As described above, a system that can use information efficiently and effectively by performing personalization and customization of the information is already known.
また、パーソナライゼーションの発展型として、ネットワーク上におけるユーザの行動をリアルタイムでプロファイリングする技術や、ユーザの操作癖を学習してユーザ嗜好にあったＧＵＩを提供する技術や、ユーザのリアクションを監視することによって、エージェントが推薦したコンテンツに対するユーザの嗜好性や反応を観測する技術等が考えられている。 Also, as an advanced form of personalization, technology that profiles user behavior on the network in real time, technology that provides user-preferred GUIs by learning user behavior, and monitoring user reactions Therefore, a technique for observing the user's preference and response to the content recommended by the agent is considered.
上述したように、現在では、提供者が情報やサービスを望むユーザに合った最適な情報を提供する、いわゆるプッシュ型の情報提供が可能になり、情報提供を受ける側にとっては、所望とする情報を容易に入手できるようになった。 As described above, it is now possible to provide so-called push-type information that provides optimal information suitable for a user who wants information or services, and for the information receiving side, desired information is provided. Can now be easily obtained.
しかし、提供情報を各個人にあわせるパーソナライゼーションを実現するためには、情報提供者は、紙面やサイト等のアンケートによって個人レベルの情報を収集したり、個々のユーザに対してユーザの行動履歴（上記書籍の例では購入履歴等）を収集したりすることが必要になる。 However, in order to realize personalization that matches the provided information to each individual, the information provider collects personal level information through questionnaires such as paper and websites, and the user's action history ( In the example of the book, it is necessary to collect purchase history and the like.
例えば、インターネットを用いた情報提供サービスのなかには、結婚式の挙式・披露宴会場、英会話教室、各種カルチャースクール等に関する料金情報、雰囲気、サービス内容等に関する情報を、既にこれらを利用したことがあるものからアンケート等によって収集し、収集結果を予め決定した規則にあてはめて、これにマッチングした情報、すなわち施設に関する情報や利用者からの体験情報を表示画面上に一緒に表示することにより、これから利用しようとするものに施設や提供会社を決定する際の判断材料を提供するサービスがある（例えば特許文献１参照）。 For example, some information services using the Internet have already used information on rates, atmosphere, service contents, etc. related to wedding ceremony / banquet halls, English conversation classes, various culture schools, etc. By using a questionnaire, etc. and applying the collected results to a predetermined rule, information that matches them, that is, information about the facility and experience information from the user will be displayed together on the display screen, so that it will be used in the future. There is a service that provides a judgment material for determining a facility or a provider to the one to be performed (for example, see Patent Document 1).
この情報提供サービスでは、情報を複数ユーザ間で利用できるようにする際、ユーザが体験データを公開する場合には体験レベルに応じて情報を提供して貰い、情報を検索するユーザが精度の高い情報又は所望の情報に近い情報を取得できるように、収集した各ユーザの体験データを視覚化することによって、多くの文字情報のなかから所望の情報を検索するための検索操作ステップを簡略化している。 In this information providing service, when the information is made available among a plurality of users, when the user publishes the experience data, the user can provide the information according to the experience level, and the user who searches for information has high accuracy. By visualizing the collected experience data of each user so that the information or information close to the desired information can be acquired, the search operation step for searching for the desired information from a lot of character information can be simplified. Yes.
この特許文献１に記載の技術では、既に挙式・披露宴会場を利用したことがあるユーザから収集する情報の多くは文字情報であり、提供されている文字情報のなかにユーザが重要視している情報内容が含まれているか否かを直ちに認識することは困難である。そのため、従来のシステムでは、ユーザは、本来必要としない文字情報も多数読まなくてはならず、ユーザは必要とする情報を探し出すことが困難な場合もあった。また、提供情報を各個人にあわせるパーソナライゼーション技術の多くは、情報提供者が技術を駆使してユーザの嗜好性モデルを抽出するものである。パーソナライゼーションすることにより、個々のユーザにあったサービスを提供することができるとはいえ、嗜好が類似した複数のユーザに対して同一の情報を提供用情報とするため、提供される情報に個々のユーザの細かな嗜好性を必ずしも反映させることができなかった。また、個人の行動に関わる情報（事象）が利用できないという問題があった。
In the technique described in
本発明は、ユーザが経験した事象に関連する情報を蓄積し効率よく読み出しできるように管理することにより、ネットワークにてキーワード検索する手法よりも応答がよく、抽出される情報から所望の情報を選択する処理も効率的で、尚かつ個人にとって実益の高い情報が取り出せる情報蓄積装置及び情報蓄積方法を提供することを目的とする。 The present invention manages information related to events experienced by the user so that it can be stored and read efficiently, so that the response is better than the keyword search method in the network, and the desired information is selected from the extracted information. An object of the present invention is to provide an information storage device and an information storage method that can efficiently extract information that is highly effective for an individual.
上述した目的を達成するために、本発明に係る情報蓄積装置は、使用者が経験した事象に関連する経験情報を取得する情報取得手段と、情報取得手段によって取得された経験情報が蓄積される蓄積手段と、情報取得手段によって取得された経験情報に対する注釈となる注釈情報が入力される注釈情報入力手段と、注釈情報入力手段によって注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成手段と、生成された提示用コンテンツと注釈情報とを対応付けて提示用コンテンツリストとして記憶する提示用コンテンツリスト記憶手段と、情報取得手段にてある経験情報が取得されたとき注釈情報入力手段によって注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを注釈情報とともに提示用コンテンツリスト記憶手段に記憶する制御を行う提示用コンテンツリスト作成制御手段と、使用者によって検索条件が注釈情報として入力される検索入力手段と、使用者に検索結果を提示する情報提示手段と、検索入力手段にて入力された検索条件としての注釈情報に対応する経験情報を提示用コンテンツリスト記憶手段から抽出して情報提示手段に提示する検索制御手段とを備える。 In order to achieve the above-described object, an information storage device according to the present invention stores information acquisition means for acquiring experience information related to an event experienced by a user, and experience information acquired by the information acquisition means. Accumulation means, annotation information input means for inputting annotation information to be annotated with respect to the experience information acquired by the information acquisition means, and experience information to which the annotation information is added by the annotation information input means are extracted to present content for presentation The presentation content generation means to be generated, the presentation content list storage means for storing the generated presentation content and the annotation information in association with each other, and the experience information as the information acquisition means have been acquired. When the annotation information is input by the annotation information input means, the presentation content generation means is instructed to generate the presentation content Presentation content list creation control means for performing control for storing the generated presentation content together with annotation information in the presentation content list storage means, search input means for inputting search conditions as annotation information by the user, and user Information presenting means for presenting the search result to the user, and search control means for extracting the experience information corresponding to the annotation information as the search condition inputted by the search input means from the presentation content list storage means and presenting it to the information presenting means With.
これにより、本発明に係る情報蓄積装置は、使用者にとって特徴的な情報であることを示す注釈情報を取得されたユーザにとっての経験情報に対して付加できるようにし、この注釈情報を用いて蓄積されたコンテンツのなかから特定の情報を抽出する。ここで、注釈情報入力手段において入力される注釈情報としては、時刻情報、位置情報を使用する。提示用コンテンツは、時刻情報に基づいて、注釈情報が入力された時刻の前後期間を所定期間分抽出したものにする。取得中の経験情報に対して注釈情報を付加できるようにしたことにより、経験情報を使用者独自のカテゴリに分類して蓄積できる。 Thereby, the information storage device according to the present invention enables annotation information indicating characteristic information for the user to be added to the acquired experience information for the user, and stores the annotation information using the annotation information. Specific information is extracted from the content that has been recorded. Here, time information and position information are used as the annotation information input by the annotation information input means. The presentation content is obtained by extracting a period before and after the time when the annotation information is input based on the time information for a predetermined period. Since the annotation information can be added to the acquired experience information, the experience information can be classified and stored in a category unique to the user.
また、上述した目的を達成するために、本発明に係る情報蓄積方法は、使用者が経験した事象に関連する経験情報を取得する情報取得工程と、情報取得工程で取得された経験情報がメモリに蓄積される蓄積工程と、情報取得工程で取得された経験情報に対する注釈情報が入力される注釈情報入力工程と、注釈情報入力工程で注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成工程と、生成された提示用コンテンツと注釈情報とを対応付けて提示用コンテンツリストとして提示用コンテンツリストメモリに記憶する提示用コンテンツリスト記憶工程と、使用者によって検索条件が注釈情報として入力される検索入力工程と、検索入力工程で入力された検索条件としての注釈情報に対応する経験情報を提示用コンテンツリストメモリから抽出して使用者に提示する情報提示工程とを有する。 In order to achieve the above-described object, an information storage method according to the present invention includes an information acquisition step of acquiring experience information related to an event experienced by a user, and the experience information acquired in the information acquisition step is stored in a memory. Content for presentation, extracting the annotation information added in the annotation information input step, the annotation information input step in which the annotation information for the experience information acquired in the information acquisition step is input, and the content for presentation A presentation content generation step for generating the content, a presentation content list storage step for storing the generated presentation content and the annotation information in association with each other in the presentation content list memory, and a search condition by the user Search input process in which is input as annotation information and experience information corresponding to the annotation information as the search condition input in the search input process Extracted from use content list memory and an information presenting step of presenting to the user.
これにより、本発明に係る情報蓄積方法は、使用者にとって特徴的な情報であることを示す注釈情報を取得されたユーザにとっての経験情報に対して付加できるようにし、この注釈情報を用いて蓄積されたコンテンツのなかから特定の情報を抽出する。ここで、注釈情報入力工程で入力される注釈情報としては、時刻情報、位置情報を使用する。提示用コンテンツは、時刻情報に基づいて、注釈情報が入力された時刻の前後期間を所定期間分抽出したものにする。取得中の経験情報に対して注釈情報を付加できるようにしたことにより、経験情報を使用者独自のカテゴリに分類して蓄積できる。 Thus, the information storage method according to the present invention allows annotation information indicating characteristic information for the user to be added to the acquired experience information for the user, and stores using the annotation information. Specific information is extracted from the content that has been recorded. Here, time information and position information are used as the annotation information input in the annotation information input step. The presentation content is obtained by extracting a period before and after the time when the annotation information is input based on the time information for a predetermined period. Since the annotation information can be added to the acquired experience information, the experience information can be classified and stored in a category unique to the user.
本発明に係る情報蓄積装置によれば、ユーザが経験している事象を記録しているときに、注釈情報入力手段で入力することによって、そのときの体験をユーザなりのカテゴリ毎に分類して蓄積することができる。これにより、蓄積した情報をユーザに提示する場合には、インターネットの検索エンジンを使用してキーワード検索する手法を使用するよりも応答がよく、抽出される情報から所望の情報を選択する処理も効率的で尚かつ個人にとって実益の高い、個人の行動により密接に関わる情報が取り出せる。 According to the information storage device of the present invention, when an event that the user is experiencing is recorded, the experience at that time is classified by the user's category by inputting with the annotation information input means. Can be accumulated. As a result, when the accumulated information is presented to the user, the response is better than using a keyword search method using an Internet search engine, and the process of selecting desired information from the extracted information is also efficient. Information that is more relevant to the individual's behavior and is more profitable for the individual can be extracted.
本発明は、ユーザが経験した事象に関連する情報と、ユーザが必要とする情報とを後から利用できるように蓄積する仕組みを提案したものである。本発明の具体例として示す情報蓄積装置は、ユーザの周囲の情報を記録できるようになっており、例えば、周囲の情報のうちユーザが個人的に必要とする情報や特徴的な情報等があった場合に、この情報に対する注釈（アノテーション；annotation）を付加できるようにした。 The present invention proposes a mechanism for accumulating information related to an event experienced by a user and information required by the user so that the information can be used later. The information storage device shown as a specific example of the present invention can record information around the user. For example, the information storage device includes personal information necessary for the user and characteristic information. In this case, an annotation for this information can be added.
本具体例で示す注釈とは、ユーザにとって特徴的な情報であることを指し示す目印（以下、ポインタと記す。）であって、このポインタを“カテゴリ”として使用して、取得した情報を分類したり、ポインタを“検索条件”の１つとして使用して情報を検索することができる。 The annotation shown in this specific example is a mark (hereinafter referred to as a pointer) indicating that it is characteristic information for the user. This pointer is used as a “category” to classify the acquired information. Alternatively, information can be searched using the pointer as one of “search conditions”.
本発明の具体例では、ユーザがある「経験」をした日時や場所、またそのときの映像や音声といった情報は、ユーザが経験した事象に関連する経験情報と記し、経験した情報に対してユーザが付加する情報を注釈（アノテーション；annotation）と記す。以下では、経験情報に対してユーザが付加した注釈をアノテーションと記す。 In a specific example of the present invention, information such as the date and place where the user “experienced” and the video and audio at that time are described as experience information related to the event experienced by the user. The information added by is described as an annotation. Hereinafter, the annotation added by the user to the experience information is referred to as annotation.
本発明の一例として示す情報蓄積装置は、上述したアノテーションが付加された情報をユーザに提示することもできる。例えば、ユーザは、情報提示を望む場合にアノテーションを抽出するためのボタンとして設けるアノテーション入力ボタンを押せば、過去にアノテーションが付加されたコンテンツの一部分を取り出すことができる。以前に同じアノテーションを付加したことがある情報は、その日時、その場所等の情報が提示される。また、ユーザによって入力されたアノテーションに基づいて、アノテーションが付加された情報を優先的に提示することもできる。 The information storage device shown as an example of the present invention can also present information to which the above-described annotation is added to the user. For example, if the user presses an annotation input button provided as a button for extracting an annotation when information presentation is desired, a part of content to which an annotation has been added in the past can be taken out. Information such as the date / time and location of the information that has previously been added with the same annotation is presented. In addition, based on the annotation input by the user, the information with the annotation can be preferentially presented.
以下、本発明の具体例として示す情報蓄積装置１の概略を図１に示す。情報蓄積装置１は、情報を入力する情報登録フェーズのための情報登録部１０と、これらの情報を蓄積する手段と、取得した情報を後に利用する情報利用フェーズのための情報利用部３０とを備えている。
An outline of an
情報蓄積装置１は、情報登録部１０として、経験した事象に関連する経験情報を取得するための情報取得部１１と、ユーザが取得された経験情報に対して目印になるアノテーションを付加するとき入力に使用するアノテーション入力部１２と、取得した情報を認識するデータ認識処理部１３と、認識したデータを予め決められた定義にしたがって分類するデータ定義処理部１４と、定義にしたがって分類されたデータを格納するデータ蓄積部１５とを備えている。
The
情報取得部１１は、ユーザ周囲の情報を取得する機能を備え、カメラ、マイク、ＧＰＳ（Global Positioning System）用ユニット等、画像情報、音声情報、位置情報、日時等を取得できる取得部が含まれる。
The
データ認識処理部１３は、カメラ、マイク、ＧＰＳ等にて取得した画像情報、音声情報、位置情報、日時等から特定の情報を抽出する処理を行っている。データ認識処理部１３は、画像認識部１６とテキスト処理部１７と音声処理部１８とを有しており、カメラから取得した画像データを画像認識部１６及びテキスト処理部１７にて画像認識処理及びテキスト認識処理し、特定の画像データ及びテキストデータを抽出する。マイクから取得した音声データであれば、音声認識部１９にて音声を認識し、言語処理部２０にて音声情報をテキストデータに変換し、キーワード抽出部２１では変換されたテキストデータからキーワードを抽出する。
The data
データ認識処理部１３にて抽出されたデータは、データ定義処理部１４において、予め決められた定義にしたがって分類される。例えば、定義には、人物画像、この人物画像に関する家族、兄弟、配偶者、職場関係、友人、年齢層、居住域、国籍等の識別情報、画像データから判別される密集度（高い・低い）、画像データから判別される建物の種類（看板等によるサービス業の種別）、建物の名称（文字列）、日時、天候（晴、雨、曇り等）、気温（高・低）、湿度（高・低）、風（強・弱）、位置情報（緯度、経度、高度）、最寄駅、またユーザのみ理解できる通称名等があり、これら定義に基づいて、取得したデータが分類される。データ蓄積部１５は、上述の定義に基づいて分類されたデータを格納している。
The data extracted by the data
また、情報登録部１０は、情報取得部１１で取得されデータ蓄積部１５に蓄積される情報に対して、ユーザの入力操作によってアノテーションが付加されたとき、記録される情報から提示用コンテンツを生成し、提示用コンテンツとアノテーションとを対応付けてアノテーションリストを作成するデータ処理部２２と、データ処理部２２で作成された提示用コンテンツ及びアノテーションリストが記憶されるリスト記憶部２３とを備えている。
The information registration unit 10 generates presentation content from recorded information when an annotation is added to the information acquired by the
続いて、上述の情報登録部１０にて登録されたユーザによるアノテーションを情報利用部３０において利用する場合について説明する。
Next, the case where the user's annotation registered in the information registration unit 10 is used in the
情報蓄積装置１は、情報利用部３０として、現在の状態を取得する情報取得部３１と、検索条件が入力される検索入力部３２と、取得した情報を認識するデータ認識処理部３３と、データ蓄積部１５から検索条件に適合した情報又は類似した情報を抽出する検索部３４と、抽出された情報をユーザに提示する情報提示部３５とを備えている。
The
情報取得部３１及びデータ認識処理部３３は、情報登録フェーズと同様の方法で現在地の位置情報やそのほかの情報を取得して認識する。検索入力部３２には、ユーザによって検索条件が入力される。入力方法としては、音声入力、テキスト入力、画像入力等があげられる。検索入力部３２にて音声として入力されれば、データ認識処理部３３は、音声から時間、場所、人に関するキーワードを抽出し、検索入力部３２にテキストデータが入力されれば、データ認識処理部３３は、テキストからキーワードを抽出し、検索入力部３２に画像データが入力されれば、データ認識処理部３３は、画像からキーワードを抽出する。また、スケジュール管理ソフトに記録されたデータを使用することもできる。
The
検索部３４は、データ蓄積部１５から検索条件に類似した情報を抽出する提示データ推論部３７と、データ蓄積部１５から検索条件に適合した情報を抽出する提示データ検索部３８とを備えている。データ蓄積部１５から情報を検索する際には、リスト記憶部２３に記憶されたアノテーションリストを参照して提示するコンテンツの優先度を決めている。検索部３４によって抽出された、テキストデータ、音声案内、画像表示、またこれらの組み合わせからなる提示用コンテンツが情報提示部３５によってユーザに提示される。
The
この情報蓄積装置１によれば、ユーザが経験した事象に対して、その経験の特徴に応じてユーザがアノテーションを付加して蓄積することができる。また、この装置のデータ蓄積部１５を検索して得られる情報は、ユーザが一旦経験した情報であるため、インターネットのようなネットワークにてキーワード検索する手法に比べ効率的でかつ実益の高い情報を取り出すことができる。
According to the
本発明の特徴は、この情報蓄積装置１にて管理された情報を利用するのが登録した本人である点である。そのため、上述した情報蓄積装置１を使用したシステムでは、ユーザが経験によって得た情報、またこの経験情報のポインタとなるアノテーションは、例えば、食事をしたときに付けられるアノテーション、タバコを吸ったときに付けられるアノテーション、といったように明確に決める必要はない。単に経験情報に付加されるフラグでよい。例えば、このフラグによって抽出された情報のもつ意味や情報のカテゴリは、ユーザがみれば容易に判るからである。
A feature of the present invention is that the registered person uses the information managed by the
経験した事象に関連する情報の取得は、上述した例のように、カメラ、マイク、ＧＰＳ等によって可能な限り自動的に取得されることが好ましい。本発明に係る情報蓄積装置１が必要とされるのは、ユーザが経験したあらゆる事象に対して意識的に「メモ書き」、「覚え書き」を残すことが現実的には困難であって、重要な情報を記録する機会を逃してしまうことがあり再び同様の状況になっても前回の経験を想起し、これを今回の経験に生かすことが難しいことがある、という実情があるからである。
Acquisition of information related to an experienced event is preferably acquired automatically as much as possible using a camera, a microphone, a GPS, or the like, as in the example described above. The
アノテーションリストの作成処理又は更新処理が行われる局面としては、次の場合があげられる。例えば、（１）情報登録フェーズにて取得した経験情報としてのコンテンツに対してアノテーションが付加されたとき提示用コンテンツを作成する処理と、（２）アノテーションリストにあげられた提示用コンテンツをユーザに提示する処理とがあげられる。ここでは、特にデータベース５３に格納された情報のうち、“時刻情報”と、“位置情報”に対してアノテーションリストを作成する場合について示す。
The following are examples of situations in which an annotation list creation process or update process is performed. For example, (1) processing for creating presentation content when annotation is added to content as experience information acquired in the information registration phase; and (2) presentation content listed in the annotation list to the user. And processing to present. Here, a case where an annotation list is created for “time information” and “position information” among the information stored in the
（１）情報登録フェーズにて取得した経験情報としてのコンテンツに対してアノテーションが付加されたとき提示用コンテンツを作成する処理
以下、本発明の具体例として示す情報蓄積装置１について図２及び図３を用いて詳細に説明する。
(1) Processing for Creating Presentation Content When Annotation is Added to Content as Experience Information Acquired in the Information Registration Phase Hereinafter, the
図２は、情報蓄積装置１を用いて行われる情報登録フェーズと情報利用フェーズとを分けて表した図であり、図３は、情報蓄積装置１の具体的な構成を示したものである。図２は、“ユーザがレストラン（店舗）で食事をする”という経験情報を記録する場合について説明している。図２において、情報登録フェーズは、レストランで食事をしたときの周囲の情報及びこのときユーザが特徴付けて記録したい情報があって、ここで経験した事象に対する情報の特徴部分に目印としてのアノテーションを付加する場面である。また、情報利用フェーズは、別の機会に過去の経験にアノテーションを付加した情報を検索する場面である。
FIG. 2 is a diagram showing an information registration phase and an information use phase performed using the
ユーザがある事象を経験するとき、常に情報蓄積装置１を所持していることが重要である。そのため、本具体例では情報蓄積装置１は、携帯可能なタイプになっている。また、情報蓄積装置自体は携帯型であっても、例えば、家庭用の据置型ＰＣ１００又はサーバ装置に相当する機器と接続可能になっていて、取得した情報を据置型ＰＣ１００又はサーバ装置に蓄積できる構成になっていれば好ましい。この場合、情報蓄積装置１のデータ蓄積部１５として機能することができるデータ蓄積部を据置型ＰＣ１００又はサーバ装置側に用意し、情報蓄積装置１との間で無線或いは有線通信インターフェイスを介して情報を送受信できるようにする。
When a user experiences an event, it is important to always have the
情報蓄積装置１は、図３に示すように、位置情報を取得するＧＰＳユニット４１、ユーザの周囲の情報を取得するＣＣＤ（Charge Coupled Device）４２及びマイク４３を備えている。これらは、図１に示した情報登録フェーズのための情報取得部１１と情報利用フェーズのための情報取得部３１とを兼ねている。情報蓄積装置１は、ユーザによる操作なくして自動的に画像データ、音声データを取得することができる、ＣＣＤ４２及びマイク４３は、所定間隔若しくはユーザ周囲の環境の変化等をトリガとしてデータを取得し、データモデルに基づいて格納形式データを生成し、このデータを後述するデータベース５３に格納している。例えば、突然大きな音を検出したとき、後述のキーワード抽出部５１にて指定されたキーワードが検出されたときなどをデータベース作成のためのトリガとする。本具体例の説明では、このように情報取得部１１にて取得されるユーザの経験に関するユーザ周囲の情報を必要に応じて経験情報と記す。
As shown in FIG. 3, the
また、情報蓄積装置１は、蓄積した情報に対してユーザがアノテーションを付加するための入力操作が行われるアノテーション入力部１２としてのアノテーションボタン４４と、情報利用フェーズにおける検索入力やこの装置の操作入力を行う操作入力部４５とを備えている。アノテーションが付加される対象となるコンテンツは、情報取得部１１で取得されるコンテンツである。図３で示すマイク４３で取得された音声データ、ＣＣＤ４２で取得した画像データ等があげられる。また、アノテーションボタン４４が押されたときのＧＰＳ情報も同時に付加する。
The
操作入力部４５は、検索モードか記録モードかの選択、更に自動検索モードか手動検索モードかの選択が行われる。操作入力部４５は、表示部としてのＬＣＤ５４と組み合わせたタッチパネル方式の入力部であってもよいし、ＬＣＤ５４に表示されるＧＵＩを選択する方式であってもよい。
The operation input unit 45 selects a search mode or a recording mode, and further selects an automatic search mode or a manual search mode. The operation input unit 45 may be a touch panel type input unit combined with an
なお、情報蓄積装置１は、情報取得部１１に対応する構成として上述した構成のほかに気温、湿度、天気等の天候情報を取得する構成を備えていてもよい。これら位置情報や天候情報を取得する手法としては、例えば、既に携帯電話にて実現されているような、基地局から定期的に送信される基地局情報に加えて位置情報や天候情報等を定期配信する手法があげられる。また、情報蓄積装置１に簡易的な温度センサ、湿度センサを設けてもよい。
Note that the
情報蓄積装置１は、取得した画像データ、文章データ、音声データを認識する画像認識部４６と文章認識部４７と音声認識部４８とを備える。画像認識部４６は、ＣＣＤ４２から取得した画像データに対して画像認識処理を実行し、例えば、人物の顔部分を認識して抽出する処理を行う。また、文章認識部４７は、ＣＣＤ４２から取得した画像データに対してテキスト認識処理を実行し、例えば、看板等の文字のように画像のなかにある文字列や記号を認識して建物や標識の名称をテキストデータとして抽出する処理を行う。音声認識部４８は、音声認識処理部４９と言語処理部５０とキーワード抽出部５１とを有し、マイク４３から取得した音声データを音声認識処理部４０にて音声認識処理し、言語処理部５０にて音声情報をテキストデータに変換し、キーワード抽出部５１では、変換されたテキストデータからキーワードを抽出する。
The
また、情報蓄積装置１は、画像認識部４６、文章認識部４７、音声認識部４８から抽出されたデータを定義付けするデータ定義処理部５２を備えている。データ定義処理部５２は、情報登録フェーズのためのデータ定義処理部１４及び情報利用フェーズのための検索部３４に相当し、抽出されたデータを予め決められた定義にしたがって分類する或いは検索条件に応じてデータベース５３から情報を検索する。
The
例えば、情報蓄積装置１には、画像データとこの画像データに対する情報が記述されたテキストデータがデータベース５３に登録されている。例えば、人物の顔の画像データに対して友人の名前、住所、連絡先、年齢等が対応付けて記憶されている。また、更にこの人物に関連した家族、兄弟、配偶者、職場関係者、友人等の情報があればあわせ記憶されている。画像認識部４６、文章認識部４７、音声認識部４８にて抽出された画像データ、テキストデータ、及び音声データから判別される人物、建物の種類、建物の名称（文字列）等がデータベース５３に格納されたデータと比較して分類され新規データとして蓄積される。また、定義には、上述した位置情報（緯度、経度、高度）、日時データ、天候情報（晴、雨、曇り等）、気温（高・低）、湿度（高・低）、風（強・弱）、最寄駅、またユーザのみ理解できる通称名、評価値、評価の対象（立地条件、店員の評価、商品の評価、店の雰囲気、値段設定、料理の提供時間、その他の条件等）等があり、取得された情報は、これら定義に基づいて分類される。
For example, in the
取得後、定義付けされたデータは、データモデルに応じてモデル変換され、データベース管理システム（ＤＢＭＳ）を用いてデータベース５３に格納される。モデル変換の例としては、例えば、表形式で各データを定義しＤＢＭＳとしてリレーショナルデータベース（ＲＤＢ）を用いて管理する手法や、各データをＲＤＦｓ・ＯＷＬを用いて分類しＤＢＭＳとしてＲＤＦＤＢ或いはＸＭＬＤＢを用いて管理する手法がある。データベース５３に格納されたユーザが経験した事象に関する情報及びアノテーションが付加されて生成された提示用コンテンツは、後々ユーザの意図で編集できてもよい。
After acquisition, the defined data is model-converted according to the data model and stored in the
このほかに情報蓄積装置１は、ユーザに対して情報を提示するための構成として、表示部としてのＬＣＤ５４、表示用デバイス５５、スピーカ５６、音声出力デバイス５７とを備えている。
In addition, the
情報蓄積装置１は、アノテーションリスト及び提示用コンテンツを作成するためのデータ処理部５９を備えている。データ処理部５９は、ユーザによって入力されたアノテーションで指定された情報の一部を抽出し提示用コンテンツを作成し、作成した提示用コンテンツとアノテーションとを関連づけしてアノテーションリストを作成する。また、データ処理部５９は、検索部３４として機能している。データ処理部５９は、取得される位置情報及び時刻情報からアノテーションが付加された提示用コンテンツを自動的に抽出する処理、ユーザが検索を希望するアノテーションが入力された場合に検索条件に適合した類似した提示用コンテンツを抽出する処理、アノテーションリスト及び提示用コンテンツを編集する処理等を実行する。
The
データ処理部５９は、ユーザに対して“発生した経験”に伴って取得され、データベース５３に記録される経験情報としてのコンテンツのうち、アノテーションが入力された時刻の前後の情報を含めてユーザに対して提示するための提示用コンテンツを作成する。そして、アノテーションと提示用コンテンツとを関連付けたアノテーションリストを作成する。データ処理部５９にて作成されたアノテーションリストは、アノテーションリスト記憶部６０に格納される。また、データ処理部５９によって作成された提示用コンテンツは、提示用コンテンツリスト６１に登録される。
The
以上説明した各構成は、ＣＰＵ、処理プログラム等が格納されたＲＯＭ及びＣＰＵの作業領域としてのＲＡＭを備える制御部５８によって統括制御されている。
Each configuration described above is centrally controlled by the
続いて、図４乃至図６を用いてアノテーションボタン４４について説明する。図４に示すように、情報蓄積装置１は、側面若しくは正面にアノテーションボタン４４を備えている。アノテーションボタン４４は、複数のアノテーションを区別して指定できるよう複数個設けられていてもよい。また、ユーザの操作性を考慮して、同一のアノテーションを入力するためのボタンが複数箇所に設けられてもよい。アノテーションボタン４４の設置位置は、図４に示したタイプに限定されることはなく、例えば、情報蓄積装置１の背面などでもよい。情報蓄積装置１のサイズがある程度大きくなる場合には、アノテーション入力部を情報蓄積装置１の本体部から分離し、ボタンと表示部とを備えた独立した入力装置として提供することもできる。この場合、本体装置との間は無線通信等により通信可能とする。
Next, the
アノテーション入力部を独立させたタイプの入力装置を図５に示す。図５（ａ）〜図５（ｄ）に示す独立型のアノテーション入力装置４４０は、アノテーションボタン４４と簡単なテキストデータ等を表示可能な表示パネル４４１とを備えている。図５（ａ）、（ｂ）に示すアノテーション入力装置４４０は、アノテーションボタン４４を１つ備えたタイプである。アノテーションボタン４４は、図５（ａ）のように表示パネル４４１と同一面に設けられていても、図５（ｂ）のように表示パネル４４１に対して側面に設けられていてもよい。また、図５（ｃ）、（ｄ）に示すアノテーション入力装置４４０は、アノテーションボタン４４を複数備えたタイプである。図５（ｃ）のように表示パネル４４１と同一面に複数のアノテーションボタン４４が設けられたタイプと、図５（ｄ）のように表示パネル４４１に対して側面に設けられたタイプが示されている。
FIG. 5 shows an input device of a type in which the annotation input unit is made independent. The independent
独立型のアノテーション入力装置４４０においてもアノテーションボタン４４の設置位置は、図示したタイプに限定されることはない。ユーザの操作性を考慮した箇所に設ければよい。
Also in the independent
図６に、アノテーション入力部を情報蓄積装置から独立させた独立タイプのアノテーション入力装置４４０の構成を示す。アノテーション入力装置４４０は、表示部としての液晶表示パネル（ＬＣＤ；Liquid Crystal Display）４４１と、表示用デバイス４４２と、本体装置との間で通信するための通信インターフェイス４４３と、アノテーションボタン４４と入力検出部４４４とからなるアノテーション入力部１２とを備えている。アノテーションボタン４４に対する入力の検出と本体装置との間の通信は、制御部４４５によって制御されている。
FIG. 6 shows a configuration of an independent type
ユーザは、上述したアノテーションボタン４４を押下することによって、情報取得部１１、３１としての構成にて取得中のコンテンツのうち、ユーザにとって特に有益な情報に対してアノテーションを付加することができる。ＧＰＳ４１、ＣＣＤ４２、マイク４３から取得された経験情報が後述するデータベース５３に蓄積されるときにユーザによって付加されるアノテーションについて、図７を用いて説明する。
By pressing the
アノテーションボタン４４が１つ設けられ、アノテーションボタン４４に１つのアノテーションが割り当てられた場合、このアノテーションボタン４４によって付加されるアノテーションが図７（ａ）に示されている。図７（ｂ）には、アノテーションボタン４４が複数設けられ、個々のアノテーションボタン４４に別々のアノテーションが割り当てられた場合、複数のアノテーションボタン４４によって付加されるアノテーションが示されている。ユーザにとって特徴的な情報であること示すポインタとなるアノテーションには、時刻情報及び位置情報を使用する。すなわち、アノテーションが付加されると、取得中のコンテンツに、ユーザがアノテーションボタン４４を操作した時刻情報とその位置情報が付加される。時刻情報は、例えば、２００４年１月１日午前１時２３分４５秒であれば、“２００４０１０１０１２３４５”のように表される。位置情報及び時刻情報は、ＧＰＳ衛星から送られる緯度及び経度が使用される。図における横軸は、取得したコンテンツの時間軸の正方向を表している。
When one
図７（ａ）に示すように、例えば、Ａという経験に対して、ユーザがアノテーションボタン４４を押したときには、そのとき取得中のコンテンツの一部に時刻情報及びＧＰＳ情報がアノテーションＡとして付加される。アノテーションボタン４４が複数個用意されている場合、図７（ｂ）に示すように、アノテーションボタンが経験Ａ、経験Ｂ、経験Ｃに対して割り当てられていて、ユーザがＡという経験に対してアノテーションボタンＡを押したときには、そのとき取得中のコンテンツの一部に時刻情報及びＧＰＳ情報がアノテーションＡとして付加される。Ｂという経験に対しては、アノテーションＢとしてそのときの時刻情報及びＧＰＳ情報が、またＣという経験に対しては、アノテーションＣとしてそのときの時刻情報及びＧＰＳ情報が付加される。
As shown in FIG. 7A, for example, when the user presses the
データ処理部５９がアノテーションが付加された情報を位置情報又は時刻情報に応じて統計的に自動的に整理してアノテーションの傾向を算出するようにしてもよい。これによりアノテーションを統計的にある集団で分類することができる。こうすると、１つのアノテーションボタンによって複数のアノテーションを入力することもできる。この手法では、入力されたアノテーションの数に応じて分類の精度が向上する。
The
記録したコンテンツにアノテーションを付加する処理の詳細は、後述する。このように、記録しているコンテンツにアノテーションを付加できるようにすれば、検索の際、アノテーションが付けられた情報は検索が容易になる。 Details of processing for adding annotations to recorded content will be described later. In this way, if an annotation can be added to the recorded content, the information with the annotation can be easily searched in the search.
ここでの説明に使用した経験とは、ユーザがアノテーションとして決めた行為、ユーザがアノテーションとして決めた情報などが含まれる。例えば、「気になっている音楽を聴いた」、「喫煙した」、「○○さんに会った」、「○○さんから電話がきた」、「食事をした」などがあげられる。アノテーションＡが「喫煙した」であるならば、ユーザは記録されたコンテンツに付加されたアノテーションを検索すれば、喫煙した場所と時刻において取得したコンテンツを知ることができる。 The experience used for the description here includes actions determined by the user as annotations, information determined by the user as annotations, and the like. For example, “I listened to the music I was interested in”, “I smoked”, “I met Mr. XX”, “I received a call from Mr. XX”, “I ate”, etc. If the annotation A is “smoking”, the user can know the content acquired at the location and time of smoking by searching for the annotation added to the recorded content.
アノテーションボタン４４によって入力される情報は、記録されているコンテンツに対する単なる目印であればよいため、アノテーションボタン４４によって入力されるアノテーションの意味を情報蓄積装置上で設定する必要はない。したがって、例えば、アノテーション入力装置４４０が複数ボタンを備える場合、ユーザは、ボタンＡに“喫煙”というアノテーションを割り当て、ボタンＢに“食事”というアノテーションを割り当て、ボタンＣに“買物”というアノテーションを割り当てるという設定操作を事前に情報蓄積装置１若しくはアノテーション入力装置４４０に対して行う必要はない。どの状況で若しくはどの経験情報に対して、どのボタンを使用するかは、ユーザが使い分ければよい。勿論、情報蓄積装置１或いはアノテーション入力装置４４０に対してアノテーションボタン４４によって付加されるアノテーションが何を示すかを機器に対して設定することができてもよい。この場合、アノテーションボタン４４に何が割り当てられているかをＬＣＤ４４１に表示する。
Since the information input by the
次に、データ処理部５９にて作成される提示用コンテンツ及びアノテーションリストの一例を図８乃至図１０を用いて説明する。
Next, an example of the presentation content and annotation list created by the
アノテーションリストについて図８を用いて説明する。アノテーションリストは、アノテーションリスト記憶部６０に格納される。アノテーションリスト記憶部６０のメモリ領域は、要素数Ｍ×Ｎ個の配列（以下、大領域と記す。）に区分され、Ｍ×Ｎ個の要素の１つが更にｍ×ｎ個の配列に区分されている（以下、中領域と記す。）。そして提示用コンテンツの有無を表すビットを設ける。提示用コンテンツが用意されていれば、すなわちアノテーションが付加されていれば１を、アノテーションが付加されていなければ０とする。更に、中領域の１要素に対して時刻情報を記述する配列を定める。大領域又は中領域には、国、県、市町村等の行政区分、特定の地域内における領域区分、会社の支店、学校キャンパス等を割り当てることができる。例えば、東京２３区を大領域とし、区内を緯度経度から分割される所定数の領域を中領域とすることができる。図８に示すように、アノテーションリストは、位置情報と時刻情報に関連付けられて、この順番に配列されている。また、中領域の要素に対応して回数を記述できるようにしてもよい。
The annotation list will be described with reference to FIG. The annotation list is stored in the annotation
図９を用いて提示用コンテンツについて説明する。図９には、データベース５３に記録される一連の経験情報としてのコンテンツ５３０が時系列に沿って表されている。また、記録されたコンテンツ５３０に対してアノテーションが付加される。ここでは、情報蓄積装置１は、アノテーションボタン４４は複数設けられたタイプであってボタンＡによってアノテーションＡが入力され、ボタンＢによってアノテーションＢが入力されるものとする。アノテーションの入力には、複数のアノテーションボタン４４が設けられたアノテーション入力装置４４０を使用してもよい。
The presentation content will be described with reference to FIG. In FIG. 9,
データ処理部５９は、ユーザによってアノテーションが入力されると、ＧＰＳ４１、ＣＣＤ４２、マイク４３等の情報取得部１２によって随時取得している日時、位置、画像データ、音声データの一部から提示用コンテンツを生成する。以下、この提示用コンテンツをオブジェクトと記す。データ処理部５９は、アノテーションボタン４４でアノテーションが付加されると、上述した図８にて説明したメモリ構造内に記述された時刻情報の前後の所定期間のコンテンツを抽出し、適切な圧縮処理等を施して提示用コンテンツとしてのオブジェクトを生成する。また、データ処理部５９は、アノテーションＢに対しても同様にオブジェクトを生成する。
When an annotation is input by the user, the
本具体例では、データ処理部５９は、アノテーションＡが入力された時刻から前後５秒の所定期間分のコンテンツを抽出し、アノテーションＡが付加された時刻前後１０秒間分の音声データ或いは映像データを提示用コンテンツとして用意する。画像データの場合、例えば１０秒間分の動画像データであってもよいし、１秒間に１枚分の静止画像データを生成し１０枚分を一纏まりとしてオブジェクトを作成してもよい。
In this specific example, the
データ処理部５９は、生成されたオブジェクトをオブジェクトリスト記憶部６１に格納するとともに、格納場所を示すアドレス情報等がアノテーションと対応付けたアノテーションリストとしてアノテーションリスト記憶部６０に格納される。アノテーションリストの一例を図１０（ａ）及び図１０（ｂ）に示す。図１０（ａ）には、データ処理部５９において作成されるアノテーションボタン４４のボタンＡで付加されたアノテーションに対するアノテーションリストの一例が示されており、図１０（ｂ）には、アノテーションボタン４４のボタンＢで付加されたアノテーションに対するアノテーションリストの一例が示されている。アノテーションリストによって、アノテーションは、対応するオブジェクトにリンクされる構造になっている。アノテーションリストには、図８で示したビット配列が位置情報、時刻情報の順番に記述され、更にデータベース５３内においてオブジェクトを特定するためのオブジェクトナンバ、オブジェクトが記録されたアドレス情報等が記述されている。
The
続いて、上述した情報蓄積装置１を用いて、ユーザが経験した事象に関連する情報（経験情報）とアノテーションとを登録する処理について説明する。ユーザがレストラン（店舗）で食事をするとき、この経験に関連するコンテンツが記録されるとともにアノテーションが付加され、付加されたアノテーションに基づいてオブジェクト及びアノテーションリストが生成される処理を図１１に示す。
Next, a process of registering information (experience information) and annotation related to an event experienced by the user using the
ユーザが情報蓄積装置１を携帯した状態でレストラン２００にて食事をする場合（経験事象：図２矢印Ａ）、レストランで食事をするという経験に関連して情報蓄積装置１において、音声データ、映像データ、位置情報等のコンテンツが取得される（図２矢印Ｂ）。経験情報は、このとき情報蓄積装置１によって、主に自動的に取得される。アノテーションは、ユーザによって入力される（図２矢印Ｃ）。但し、アノテーションの入力は、経験した事象に関する情報の取得と同時でない場合もある。
When the user eats at the restaurant 200 with the
経験情報としてのコンテンツが取得されるタイミングは、レストラン２００に入る前にユーザが所定間隔で自動取得するモードに切り換えてもよいが、常時、記録動作を行っていてもよい。また、通常、ユーザはこのモード設定操作自体を意識的に行えない場合が多い。経験した事象に関連するコンテンツは、ユーザに意識されないように取得されていることが望ましいため、本具体例では、できる限り周囲の状況変化等をトリガとして自動的に経験情報を取得できるようにする。例えば、“いらっしゃいませ”という単語を記録開始のトリガとしてのキーワードとして予め定義したとすると、ユーザがレストラン２００に入り、情報蓄積装置１が“いらっしゃいませ”という単語を検出したとき、これをトリガとしてコンテンツを記録する情報取得モードに入る（図１１に示すステップＳ１及びステップＳ２）。
The timing at which content as experience information is acquired may be switched to a mode in which the user automatically acquires the content at a predetermined interval before entering the restaurant 200, but the recording operation may be performed all the time. Further, usually, the user often cannot consciously perform this mode setting operation itself. Since it is desirable that the content related to the experienced event is acquired so that it is not conscious of the user, in this specific example, it is possible to automatically acquire the experience information by using a surrounding situation change as a trigger as much as possible. . For example, assuming that the word “welcome” is defined in advance as a keyword as a trigger for starting recording, when the user enters the restaurant 200 and the
アノテーションは、取得された経験情報に付加されて記憶される。ユーザがアノテーションを付加するタイミング（図２矢印Ｃ）は、経験情報の取得中であるが、取得した情報に対して時間的に後から付加することもできる。 The annotation is added to the acquired experience information and stored. The timing at which the user adds an annotation (arrow C in FIG. 2) is during the acquisition of experience information, but it can also be added later in time to the acquired information.
情報蓄積装置１は、ステップＳ１としてＣＣＤ、ＧＰＳ等を起動し待機しているときにトリガが検出されると、ステップＳ２において、データ作成モードに移り経験情報を取得する。ステップＳ２にて取得された経験情報は、ステップＳ３以降において、それぞれ認識処理される。画像データであれば、ステップＳ３においてＣＣＤ４２から取得した画像データに対して画像認識処理を実行する。このとき、画像データであって画像中に文字情報が含まれている場合、ステップＳ４において文章認識部４７は、ＣＣＤ４２から取得した画像データに対してテキスト認識処理を実行し、例えば、看板等の文字のように画像のなかにある文字列や記号を認識して建物や標識の名称をテキストデータとして抽出する。また、音声データの場合、ステップＳ５において、取得した音声データを音声認識処理部４０にて音声認識処理し、ステップＳ６において言語処理部５０にて音声情報をテキストデータに変換し、ステップＳ７においてキーワード抽出部５１にてテキストデータからキーワードを抽出する。ＧＰＳ４１によって取得された位置情報、日時データ等のＧＰＳデータ及び操作部３５から入力されたテキストデータ等はそのまま使用できるため、次のステップに進む。取得されたコンテンツは、ステップＳ８において定義に基づいて分類され、ステップＳ９においてデータベース５３に登録される。
If a trigger is detected when the
情報蓄積装置１は、ステップＳ１０においてアノテーションが入力されたか否か判別し、ユーザによってアノテーションが入力された場合には、ステップＳ１１において、アノテーションリストの登録とオブジェクトの作成を行う。ステップＳ１２においてアノテーションとオブジェクトとが関連づけされる。
The
ステップＳ１２におけるアノテーションリストの登録処理について図１２を用いて更に詳しく説明する。アノテーションリスト記憶部６０のメモリ領域は、位置情報に対応付けられているので、データ処理部５９は、図１２に示すように、ステップＳ１１１において、位置情報を取得する。ステップＳ１１２においてデータ処理部５９は、取得した位置情報とアノテーションリスト記憶部６０に記憶したＭ×Ｎ配列の大領域のビット列Ａとを比較し、現在の位置情報に対応する所定ビットが１の場合、ステップＳ１１３において、引き続きｍ×ｎ配列の中領域のビット列Ｂをチェックする。ステップＳ１１３において０の場合、ステップＳ１０に戻る。また、ステップＳ１１３において、ｍ×ｎ配列の中領域の配列において現在の位置情報に対応する所定ビットが１の場合、ステップＳ１１４において、データ処理部５９は、この要素に対して現在の時刻情報を記述し、作成したオブジェクトをオブジェクトリストの最後に加えてステップＳ１２に進む。ｍ×ｎ配列の中領域の配列において現在の位置情報に対応する所定ビットが０の場合、ステップＳ１１５において、中領域リストの対応するビットに１を立て、作成したオブジェクトをオブジェクトリストの最後に加えてステップＳ１３に進む。
The annotation list registration process in step S12 will be described in more detail with reference to FIG. Since the memory area of the annotation
アノテーションとオブジェクトは、ステップＳ１２において互いに関連づけられて、ステップＳ１３においてアノテーションリスト記憶部６０に格納される。このようにして、情報蓄積装置１は、ユーザの経験情報のなかで特にユーザの興味があった状況に関連するコンテンツを容易に検索できるように整理してデータベース５３に登録することができる。
The annotation and the object are associated with each other in step S12 and stored in the annotation
図１１の処理で取得される経験情報の一例を図１３に示す。以下の図では、便宜上、説明にかかる部分のみデータを記入しているが空欄の箇所にも別のデータが含まれているものとする。図１３では、取得した情報の番号に対応付けられて、取得された時刻情報は、２００３年７月２２日１７時３０分であれば、“２００３０７２２１７３０”のように表され、位置情報は、“６０５９５８，１３５４５３６，５４６”（緯度６０°５９′５８″，経度１３５°４５′３６″，高度５４６ｍ）のように登録される。またこのほか、例えば基地局から送信された天候情報等の付帯状況の情報が付加される。更に、この経験情報の取得よりも以前に取得した情報から明らかになっている事実があれば、その情報も付加される。なお、ここで取得される時刻情報は、ＧＰＳデータに含まれる正確な時刻情報でもよいし、例えば、“２００３／０７／２２ 夜 ”、単に“昼”、“夜”、“休日”、“平日”のように抽象的な表現も含まれる。また、位置情報も同様に緯度経度に代わって駅名、建物名、施設名、ユーザに馴染みのある通称名等で表してもよい。このほうが、ユーザが情報利用フェーズにて検索したときに、より分かり易く使い易い情報として取り出すことができるからである。これらの経験情報は、ＣＣＤ４２、マイク４３にて取得した映像や音声といったコンテンツとともに記録される。
An example of the experience information acquired by the process of FIG. 11 is shown in FIG. In the following figure, for the sake of convenience, it is assumed that data is entered only for the part related to the explanation, but other data is also included in the blank part. In FIG. 13, the acquired time information associated with the acquired information number is represented as “200307221730” if it is 17:30 on July 22, 2003, and the position information is “ 605958, 1354536, 546 ″ (
一例として、ユーザが喫煙の度にアノテーションボタン４４を押すように決めた場合には、アノテーションボタンＡが押されると、記録されているコンテンツに対するアノテーションとして喫煙をした時間及び喫煙した場所を示す情報が記録される。このとき、喫煙中に情報蓄積装置１のＣＣＤ４２から取得される画像データやマイクから取得される音声データからオブジェクトが作成される。作成されたオブジェクトは、ユーザにとって喫煙というアノテーションによって関連付けられるコンテンツである。アノテーションの位置情報及び時刻情報の傾向を統計的に処理して自動的に分類する手法を取り入れれば、１つのアノテーションボタン４４に対して複数種類のアノテーションを入力することもできる。この手法ではオブジェクトの特徴は、オブジェクトが増えるほどに統計的に分類されたアノテーションのグループの傾向が現れ、グループを纏めるキーワードの精度が向上する。
As an example, when the user decides to press the
上述のようにデータベース５３に登録されたコンテンツのうちアノテーションが付加されたコンテンツ毎にアノテーションリストを作成することによって、ユーザの経験情報及びこの経験情報のなかで特徴的な経験に対するコンテンツを抽出し易くすることができる。オブジェクトの入力からアノテーションリストの作成までの処理に関する詳細は後述する。
As described above, by creating an annotation list for each content to which annotations are added among the content registered in the
最も原理的なアノテーションの付加方法は、上述したように、経験情報の自動検出とアノテーションボタン４４のオンオフによる単純なアノテーションの入力によって実現できるが、例えば、表示部としてのＬＣＤ５４、操作入力部４５等を併用することでより複雑な情報の入力及び提示が可能になる。この場合、次の登録処理があげられる。
As described above, the most basic method of adding annotation can be realized by automatic detection of experience information and simple annotation input by turning on / off the
図１４及び図１５に示す登録処理では、アノテーションボタン４４及び操作入力部４５からのユーザによる操作とその操作に基づくデータ処理部５９の動作が示されている。
In the registration process shown in FIGS. 14 and 15, an operation by the user from the
ステップＳ２１においてユーザによってアノテーションボタン４４が押下されると、データ処理部５９は、押下を検出した検出信号を受け取り、ステップＳ２２において表示部としてのＬＣＤ５４に、場所、日時等の選択メニューを提示する。ステップＳ２３において、提示した選択メニューを表したＧＵＩ（Graphical User Interface）を介して、ユーザから場所を指定するＧＵＩボタンが選択されると、ステップＳ２４において場所が指定され、データ処理部５９は、ステップＳ２５において、現位置か任意の場所かを選択する選択メニューを表示する。
When the
この選択メニューに対して、ステップＳ２６において、提示した選択メニューを表したＧＵＩを介して場所が選択されるがステップＳ２７において更に詳しい場所の情報が選択されない場合、図１５Ａに続くステップＳ３１のステップＳ３１１において現在場所を検索キーとしてアノテーションリストが検索される。 For this selection menu, in step S26, a location is selected via the GUI representing the presented selection menu, but in the case where further detailed location information is not selected in step S27, step S311 in step S31 following FIG. 15A is performed. The annotation list is searched using the current location as a search key.
また、ステップＳ２６で提示した選択メニューを表したＧＵＩを介して場所が選択された後、ステップＳ２７において、更に詳しく任意の場所が指定された場合、データ処理部５９は、ステップＳ２８において地図ソフトを起動する。ステップＳ２９においてＬＣＤ５４上に地図とともに表示されたＧＵＩによってユーザが所望とする場所が指定されると、データ処理部５９は、指定された場所情報をステップＳ３０にて受け取る。データ処理部５９は、図１５Ｃに続くステップＳ３１のステップＳ３１３において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。
In addition, after a location is selected via the GUI representing the selection menu presented in step S26, if an arbitrary location is specified in more detail in step S27, the
一方、ステップＳ２４においてユーザによって場所が指定されなかった場合、ステップＳ３２において、データ処理部５９は、任意の時刻（未来）、翌日以降の同一時間、翌週以降の同一曜日、翌月以降の同一日、翌年以降の同一月、翌年以降の同一月日を選択するための選択メニューを表示する。
On the other hand, if the location is not specified by the user in step S24, in step S32, the
データ処理部５９は、ステップＳ３３において任意の時刻を入力するメニューが選択されると、ステップＳ３４において任意時刻を入力するための時刻入力用ＧＵＩをＬＣＤ５４に表示する。この入力インターフェイスを介してユーザから時刻が指定されると時刻を認識し、データ処理部５９は、図１５Ｃに続くステップＳ３１のステップＳ３１３において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。ステップＳ３３において任意の時刻を入力するメニューが選択されない場合には、データ処理部５９は、図１５Ｂに続くステップＳ３１のステップＳ３１２において、指定された日時を検索キーとしてアノテーションリストを検索する。
When a menu for inputting an arbitrary time is selected in step S33, the
ステップＳ３１以降は、図１２に示したアノテーションリストの作成処理に準ずる。すなわち、ステップＳ３５において、データ処理部５９では、該当する時刻情報又は位置情報に対応するビットが１であるか否か判別が行われる。所定ビットが０の場合、ステップＳ３６においてオブジェクトを作成し、オブジェクトリストの最後にここで作成したオブジェクトを登録するとともにアノテーションリストと関連づけしてアノテーションリストに加えて処理を終了する。一方、所定ビットが１の場合、データ処理部５９は、ステップＳ３７において、必要に応じてオブジェクトを更新しアノテーションリストを登録し直す。
Step S31 and subsequent steps are in accordance with the annotation list creation processing shown in FIG. That is, in step S35, the
なお、上述した登録処理では、ユーザによって選択された場所の情報は、ネットワークを介して受信されてもよい。 In the registration process described above, the information on the location selected by the user may be received via the network.
以上説明したように、情報蓄積装置１は、取得した情報に対する意味づけをユーザが自由に行うことができるインターフェイスとしてアノテーションボタン４４を備えることにより、取得した情報を個人に依存したデータとして管理することが可能になる。ユーザは、情報蓄積装置１を携帯することによって自分の経験から得たコンテンツを収集することができ、経験に基づくデータベースが作成されるため、いわゆるインターネットに検索語を入力して情報検索する場合と比べ、蓄積される情報及びコンテンツは、ユーザにとって有益度が高く、ユーザが希望する情報に近い情報になる。情報蓄積装置１は、自動的に取得され、大量に蓄積されるコンテンツを、ユーザによって付加されたアノテーションに基づいて分類することができる。
As described above, the
また、情報蓄積装置１は、アノテーションを検索キーとする串刺し検索を行うこともできる。検索キーワードが入力されなくとも、検索モード時にアノテーションボタン４４が選択されると、このアノテーションボタン４４を使用して付加されたアノテーションで纏められたコンテンツを抽出することができる。
The
（２）アノテーションリストに基づいてオブジェクトをユーザに提示する処理
続いて、アノテーションリストに基づいてオブジェクトを検索する処理について、図１６乃至図２２を用いて説明する。この処理は、本発明の具体例として示す情報蓄積装置１における情報利用フェーズに対応する。
(2) Processing for Presenting Object to User Based on Annotation List Next, processing for searching for an object based on the annotation list will be described with reference to FIGS. This processing corresponds to the information use phase in the
情報蓄積装置１は、検索モードが用意されており、通常は、検索モードが選択されているときには、常に位置情報（場所）と時刻情報（時間）とを検索キーとした検索結果が提示されるようになっている。また、検索モード時にアノテーションボタン４４が押下されると、そのアノテーションボタンに割り当てられたアノテーションを検索キーとする検索が実行されるようにしてもよい。本具体例の情報蓄積装置１では、情報検索モードと情報登録モードとが設けられ、ユーザによって検索モードが明示的に選択された場合にのみ検索するようになっている。
The
オブジェクト及びアノテーションを検索する検索モードの例として、ユーザが検索したいアノテーション条件を指定できる手動検索モードと、時刻情報又は位置情報に基づいてアノテーションリストから共通するアノテーションが付加されたオブジェクトを自動的に抽出する自動検索モードとがある。 As an example of search mode for searching for objects and annotations, manual search mode that allows users to specify the annotation conditions that they want to search, and automatically added objects with common annotations from the annotation list based on time information or location information There is an automatic search mode to do.
自動検索モードについて図１６を用いて説明する。情報蓄積装置１における制御部５８は、ステップＳ４１としてＣＣＤ、ＧＰＳ等を起動し、ステップＳ４２として現在の位置情報及び時刻情報を取得する。また制御部５８は、ステップＳ４３で、操作入力部４５においてユーザによって検索モードが選択されたか判別する。検索モードが選択された場合、ステップＳ４４で更に選択されたモードが自動検索モードが否か判別される。手動検索モードが選択された場合の処理は、図１９にて説明する。制御部５８は、ユーザによって自動選択モードが選択されたことを検出すると、データ処理部５９に指示し、データ処理部５９は、ステップＳ４２で取得した現在の位置情報及び時刻情報とアノテーションリストの位置情報及び時刻情報とを、ステップＳ４５とステップＳ４６において比較する。
The automatic search mode will be described with reference to FIG. The
データ処理部５９がステップＳ４５において位置情報を比較する処理を図１７に示す。データ処理部５９は、ステップＳ４５１として、ステップＳ４２で取得した現在の位置情報とアノテーションリスト記憶部６０に記憶されたアノテーションリストに記述された位置情報とを比較する。ここで、データ処理部５９は、場所に対するマッチングは必ずしも現在の位置情報として取得されるＧＰＳデータの緯度経度（ｘ，ｙ）に完全に一致しなくとも、例えば、ある程度の精度範囲、（ｘ＋α、ｙ＋α）で略一致していれば一致と判断してもよい。
FIG. 17 shows a process in which the
これにより、全く同一の場所でなくとも、アノテーションリストに登録された付近の情報を併せて提示することができる。ステップＳ４５２において、データ処理部５９は、取得した現在の位置情報に適合する位置情報をもつアノテーションがあると判別した場合、ステップＳ４５３として提示用の結果リストを作成し、条件に適合するアノテーションを結果リストに加えてステップＳ４６に移る。ステップＳ４５２において適合するアノテーションがない場合にもステップＳ４６に移る。
As a result, even if the location is not exactly the same, information in the vicinity registered in the annotation list can be presented together. In step S452, if the
続いて、データ処理部５９がステップＳ４６において位置情報を比較する処理を図１８に示す。データ処理部５９は、ステップＳ４６１として、ステップＳ４２で取得した現在の時刻情報とアノテーションリスト記憶部６０に記憶されたアノテーションリストに記述された時刻情報とを比較する。データ処理部５９は、時刻で適合データが得られないときには、日、曜日、月で適合する時刻情報を検索する。
Subsequently, a process in which the
また、データ処理部５９は、取得した時刻情報に対して、例えば、ある程度の範囲を持たせた値を検索値として、アノテーションリストの時刻情報と比較してもよい。これにより、全く同一時刻でなくとも、アノテーションリストに登録された付近の情報を併せて提示することができる。ステップＳ４６２においてデータ処理部５９は、適合するアノテーションがないと判別した場合、ステップＳ４６３として条件に適合するアノテーションがアノテーションリストに登録されていない旨を返し、ステップＳ４７に移る。一方、データ処理部５９は、取得した現在の時刻情報に適合する時刻情報をもつアノテーションがあると判別した場合、ステップＳ４６４として提示用の結果リストに適合するアノテーションを加えてステップＳ４７に移る。なお、ここで、ステップＳ４５とステップＳ４６の処理の順序は図１６に示す順序に限定されない。
Further, the
アノテーションリストが複数ある場合、制御部５８はステップＳ４７の判別処理を行って、データ処理部５９に対して、ステップＳ４５及びステップＳ４６の処理を各アノテーションリストについて繰り返し実行させる。また、検索モード時にユーザに選択されたアノテーションボタンに対するアノテーションリストを検索するようにもできる。制御部５８は、全てのアノテーションリストに関して検索が終了すると、ステップＳ４８でユーザに対して結果リストを提示する。
When there are a plurality of annotation lists, the
最も原理的なオブジェクトの提示方法は、上述したように、現在情報とアノテーションリストの位置情報及び時刻情報とを比較することによるアノテーションの検索によって実現できるが、例えば、表示部としてのＬＣＤ５４、操作入力部４５等を併用することでより複雑な情報の入力及び提示が可能になる。手動による検索処理について、図１９及び図２０を用いて説明する。 As described above, the most basic method for presenting an object can be realized by searching for an annotation by comparing the current information with the position information and time information of the annotation list. By using the unit 45 and the like together, it becomes possible to input and present more complicated information. Manual search processing will be described with reference to FIGS. 19 and 20.
情報蓄積装置１における制御部５８は、図１６に示すステップＳ４４において手動検索モードが選択されたことを検出すると、データ処理部５９に手動検索モードを実行するよう指示する。図１９及び図２０に示す検索処理では、アノテーションボタン４４及び操作入力部４５からのユーザによる操作とその操作に基づくデータ処理部５９の動作が示されている。
When detecting that the manual search mode is selected in step S44 shown in FIG. 16, the
ステップＳ５１においてユーザによって手動検索モードが選択されると、データ処理部５９は、選択による検出信号を受け取り、ステップＳ５２において表示部としてのＬＣＤ５４に、場所、日時等の選択メニューを提示する。ステップＳ５３において、提示した選択メニューを表したＧＵＩを介して、ユーザから場所を指定するＧＵＩボタンが選択されると、ステップＳ５４において場所が指定される。データ処理部５９は、ステップＳ５５において現位置か任意の場所かを選択する選択メニューを表示する。この選択メニューに対して、ステップＳ５６において、提示した選択メニューを表したＧＵＩを介してユーザから場所が選択されるがステップＳ５７において更に詳しい場所の情報が選択されない場合には、図２０Ａに続くステップＳ６１のステップＳ６１１において現在場所を検索キーとしてアノテーションリストが検索される。
When the manual search mode is selected by the user in step S51, the
また、ステップＳ５６で提示した選択メニューを表したＧＵＩを介してユーザが場所を選択した後、ステップＳ５７において、更に詳しく任意の場所が指定された場合には、データ処理部５９は、ステップＳ５８において地図ソフトを起動する。ステップＳ５９においてＬＣＤ５４上に地図とともに表示されたＧＵＩによってユーザが所望とする場所が指定されると、データ処理部５９は、指定された場所情報をステップＳ６０にて受け取る。データ処理部５９は、図２０Ｃに続くステップＳ６１のステップＳ６１２において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。
In addition, after the user selects a location via the GUI representing the selection menu presented in step S56, if an arbitrary location is specified in more detail in step S57, the
一方、ステップＳ５４においてユーザによって場所が指定されなかった場合、ステップＳ６２において、データ処理部５９は、任意の時刻（未来）、翌日以降の同一時間、翌週以降の同一曜日、翌月以降の同一日、翌年以降の同一月、翌年以降の同一月日を選択するための選択メニューを表示する。
On the other hand, if the location is not specified by the user in step S54, in step S62, the
データ処理部５９は、ステップＳ６３において任意の時刻を入力するメニューを選択すると、ステップＳ６４において任意時刻を入力するための時刻入力用ＧＵＩをＬＣＤ５４に表示する。この入力インターフェイスを介してユーザから時刻が指定されると時刻を認識し、データ処理部５９は、図２０Ｃに続くステップＳ６１のステップＳ６１２において指定された場所情報及び時刻を現在の時刻を検索キーとしてアノテーションリストを検索する。ステップＳ６３において任意の時刻を入力するメニューが選択されない場合には、データ処理部５９は、図２０Ｂに続くステップＳ６１のステップＳ６１２において、指定された日時を検索キーとしてアノテーションリストを検索する。
When the
データ処理部５９は、ステップＳ６５において検索条件に適合するアノテーションがある場合、ステップＳ６６として結果リストを作成する。結果リストは、ユーザに提示される。適合するアノテーションがない場合には、ステップＳ６７において、データ処理部５９は、該当するアノテーションが見つからない旨を表示してステップＳ５２に戻る。
If there is an annotation that matches the search condition in step S65, the
上述したステップＳ４５３及びＳ４６４で作成される結果リストについて説明する。
図２１（ａ）には位置情報に基づく結果リストが、図２１（ｂ）には時刻情報に基づく結果リストが示されている。情報蓄積装置１がアノテーションボタン４４を複数備えるタイプであれば、結果リストがアノテーションボタン４４に割り当てられたアノテーションの数だけ用意される。ユーザは、操作入力部４５によって結果リストに提示されたオブジェクトを選択すると対応するオブジェクトにリンクされ、オブジェクトが再生される。
The result list created in steps S453 and S464 described above will be described.
FIG. 21A shows a result list based on position information, and FIG. 21B shows a result list based on time information. If the
情報蓄積装置１では、ユーザは、結果リストからアノテーションリスト及びオブジェクトの編集、削除等を行うこともできる。また、情報提供装置１は、オブジェクトが参照された回数をカウントする機能を有する。これにより、情報提供装置１は、結果リストを通じてオブジェクトが利用された際、ユーザによるアノテーションリストの使用状況をリスト内に“利用度”として登録しておくようにしてもよい。
In the
情報蓄積装置１が結果リストを介したユーザから操作入力によりオブジェクトの参照ポインタを付加する処理を図２２に示す。
FIG. 22 shows a process in which the
データ処理部５９は、ステップＳ７１において、結果リストからオブジェクトが選択されたことを検出すると、ステップＳ７２として、データ処理部５９は、確認ボタンが選択されたか否か判別する。確認ボタンが選択された場合、ステップＳ７３において、選択されたオブジェクトを再生するとともに、ステップＳ７４で結果リスト及びこのオブジェクトに対応付けられるアノテーションリストの参照カウンタを＋１する。
When the
一方、ステップＳ７２及びステップＳ７５において、データ処理部５９は、確認ボタンではなく削除ボタンが選択されたことを検出すると、ステップＳ７６において、ユーザに対して削除を確認するメッセージを提示し、ステップＳ７７において、確認ボタンが選択されたことを検出すると、データ処理部５９は、ステップＳ７８において選択されたオブジェクトをオブジェクトリストから削除する。また、オブジェクトに関連付けられたアノテーションリストにおけるアノテーションも削除する。このとき、データベース５３に格納された元のコンテンツまで削除される必要はない。
On the other hand, in step S72 and step S75, when the
データ処理部５９は、ステップＳ７９において、結果リストに他のオブジェクトがある場合には、ステップＳ７１より処理を繰り返す。
If there is another object in the result list in step S79, the
このように、検索結果のオブジェクトが表示されたときに、例えば、“参照した（利用した）”ことをカウントできるようにすると、ユーザは、情報処理装置１によって作成されたオブジェクトがどの程度有効活用されていることを知ることができる。
As described above, when the object of the search result is displayed, for example, if it is possible to count “referred (used)”, the user can effectively use the object created by the
上述した検索処理によれば、情報蓄積装置１は、アノテーションを検索キーとする串刺し検索を行うことができる。また、情報蓄積装置１は、アノテーションボタン４４によってアノテーションを付加して管理されているコンテンツがデータベースとなるため、ユーザにとって有益度が高く、ユーザが希望する情報に近い情報を検索することができる。
According to the search processing described above, the
以上説明したように、情報蓄積装置１によるアノテーションの登録処理とアノテーションの検索処理によれば、例えば、実際には次のことが可能になる。例えば、ユーザがアノテーションボタンを友人の一人に割り当て、この友人に会ったとき、この友人に電話したとき、この友人の話題が出たときなどにアノテーションボタンを押して情報蓄積装置１が取得するコンテンツにアノテーションを付加しておけば、取得されたコンテンツをこの友人で分類しておくことができる。
As described above, according to the annotation registration process and the annotation search process by the
また、アノテーションボタンは、取得されるコンテンツに対するユーザ独自の目印であるため、例えば、ユーザが過去、１２日の１７時に取得されるコンテンツにアノテーションを付加しているとき、翌月の１２日の１７時がくる（又は近づくと）とオブジェクトを再生してユーザの注意を促すようにすることもできる。アノテーションボタンがユーザによって、ユーザの“自分の好きなもの”に対して割り当てられたとすれば、取得されたコンテンツを自動的にこのアノテーションで分類することができる。次回、このアノテーションによって検索される検索結果は、位置情報であれば、これがユーザの“気に入った場所”であるし、検索されたオブジェクトが音楽コンテンツであれば、これがユーザの“気に入った音楽”であるし、検索されたオブジェクトに人が写っていれば、これがユーザの“好きな人物”ということになる。 Further, since the annotation button is a user-specific mark for the acquired content, for example, when the user has added annotation to the content acquired at 17:00 on the 12th in the past, the 17:00 on the 12th of the next month It is also possible to reproduce the object to call the user's attention when it comes (or approaches). If the annotation button is assigned by the user to the user's “favorite”, the acquired content can be automatically classified by this annotation. Next time, if the search result searched by this annotation is location information, this is the user's “favorite place”, and if the searched object is music content, this is the user ’s “favorite music”. If there is a person in the retrieved object, this is the user's “favorite person”.
また、アノテーションボタンがユーザの“失敗”に対して割り当てられたとすれば、取得されたコンテンツを自動的にこのアノテーションで分類することができる。次回、このアノテーションによって検索される検索結果は、位置情報であれば、ユーザが“迷った場所”であるし、検索されたオブジェクトが音楽コンテンツであれば、ユーザが“気に入らなかった音楽”であるし、検索されたオブジェクトに人が写っていれば、ユーザが“失態をしてしまった人物”ということになる。このように、情報蓄積装置１は、取得されるコンテンツをアノテーションによって自動的に分類できる。
If an annotation button is assigned to the user's “failure”, the acquired content can be automatically classified by this annotation. Next time, the search result searched by this annotation is “the place where the user is lost” if it is position information, and if the searched object is music content, it is “music that the user did not like”. If a person is reflected in the searched object, it means that the user has “lost”. As described above, the
本発明は、ユーザが経験した事象に関連する情報を取得して蓄積し提示できる装置であればよい。具体例では、携帯型情報処理端末として示されているが、情報処理端末としての機能、カメラ、マイク等といった情報取得機能等が複数のユニットとして用意され、これらをユーザの身体各部に分散して装着するタイプの、いわゆるウェアラブルコンピュータに使用して好適である。 The present invention may be any device that can acquire, store, and present information related to an event experienced by a user. In the specific example, it is shown as a portable information processing terminal, but the function as an information processing terminal, information acquisition functions such as a camera, a microphone, etc. are prepared as a plurality of units, and these are distributed to each part of the user's body. It is suitable for use in a so-called wearable computer of the type to be mounted.
１ 情報蓄積装置、 １０ 情報登録部、 １１ 情報取得部、 １２ アノテーション付加部、 １３ データ認識処理部、 １４ データ定義処理部、 １５ データ蓄積部、 １６ 画像認識部、 １７ テキスト処理部、 １８ 音声処理部、 １９ 音声認識部、 ２０ 言語処理部、 ３０ 情報利用部、 ３１ 情報取得部、 ３２ 検索入力部、 ３３ データ認識処理部、 ３４ 検索部、 ３５ 情報提示部 ４１ ＧＰＳ、 ４２ ＣＣＤカメラ、 ４３ マイク、 ４４ アノテーションボタン、 ４５ 操作入力部、 ４６ 画像認識部、 ４７ 文章認識部、 ４８ 音声認識部、 ４９ 音声認識処理部、 ５０ 言語処理部、 ５１ キーワード抽出部、 ５２ データ定義処理部、 ５３ データベース、 ５４ ＬＣＤ、 ５５ 表示用デバイス、 ５６ スピーカ、 ５７ 音声出力デバイス、 ５８ 制御部、 ６０ アノテーションリスト記憶部、 ６１ オブジェクトリスト記憶部
DESCRIPTION OF
Claims (7)
上記情報取得手段によって取得された経験情報が蓄積される蓄積手段と、
上記情報取得手段によって取得された経験情報に対する注釈となる注釈情報が入力される注釈情報入力手段と、
上記注釈情報入力手段によって注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成手段と、
上記生成された提示用コンテンツと上記注釈情報とを対応付けて提示用コンテンツリストとして記憶する提示用コンテンツリスト記憶手段と、
上記情報取得手段にてある経験情報が取得されたとき上記注釈情報入力手段によって注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを上記注釈情報とともに上記提示用コンテンツリスト記憶手段に記憶する制御を行う提示用コンテンツリスト作成制御手段と、
上記使用者によって検索条件が注釈情報として入力される検索入力手段と、
上記使用者に検索結果を提示する情報提示手段と、
上記検索入力手段にて入力された検索条件としての注釈情報に対応する経験情報を上記提示用コンテンツリスト記憶手段から抽出して上記情報提示手段に提示する検索制御手段と
を備えることを特徴とする情報蓄積装置。 Information acquisition means for acquiring experience information related to the event experienced by the user;
Storage means for storing the experience information acquired by the information acquisition means;
Annotation information input means for inputting annotation information as an annotation for the experience information acquired by the information acquisition means;
Presentation content generation means for extracting the experience information with the annotation information added by the annotation information input means and generating the presentation content;
A presentation content list storage unit that stores the generated presentation content and the annotation information in association with each other as a presentation content list;
When the empirical information is acquired by the information acquisition unit, when the annotation information is input by the annotation information input unit, the presentation content generation unit is instructed to generate the presentation content, and the generated presentation content is displayed. Presentation content list creation control means for performing control to store the annotation information together with the presentation content list storage means;
Search input means for inputting search conditions as annotation information by the user,
Information presenting means for presenting search results to the user;
And search control means for extracting experience information corresponding to the annotation information as the search condition input by the search input means from the presentation content list storage means and presenting the information to the information presentation means. Information storage device.
上記提示用コンテンツリスト作成制御手段は、上記情報取得手段にてある経験情報が取得されたとき上記注釈情報入力手段によって注釈情報としての時刻情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを上記時刻情報とともに上記提示用コンテンツリスト記憶手段に記憶する制御を行い、
上記検索制御手段は、上記時刻情報に対応する経験情報を上記提示用コンテンツリスト記憶手段から抽出すること
を特徴とする請求項１記載の情報蓄積装置。 The annotation information input means inputs time information as annotation information for the experience information acquired by the information acquisition means,
The presentation content list creation control means presents to the presentation content generation means when time information as annotation information is input by the annotation information input means when experience information is acquired by the information acquisition means. Control to store the presentation content generated instructing the generation of the presentation content in the presentation content list storage unit together with the time information,
The information storage apparatus according to claim 1, wherein the search control means extracts experience information corresponding to the time information from the presentation content list storage means.
上記注釈情報入力手段は、上記情報取得手段によって取得された経験情報に対する注釈情報として位置情報を入力し、
上記提示用コンテンツリスト作成制御手段は、上記情報取得手段においてある経験情報が取得されたとき上記注釈情報入力手段によって注釈情報としての位置情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し生成された提示用コンテンツを上記位置情報とともに上記提示用コンテンツリスト記憶手段に記憶する制御を行い、
上記検索制御手段は、上記位置情報に対応する経験情報を上記提示用コンテンツリスト記憶手段から抽出すること
を特徴とする請求項１記載の情報蓄積装置。 Comprising location information acquisition means for acquiring location information;
The annotation information input means inputs position information as annotation information for the experience information acquired by the information acquisition means,
The presenting content list creation control means is configured to present information to the presenting content generation means when position information as annotation information is input by the annotation information input means when certain experience information is acquired by the information acquisition means. Instructing the generation of content and performing control to store the generated content for presentation together with the position information in the content list storage unit for presentation,
The information storage apparatus according to claim 1, wherein the search control means extracts experience information corresponding to the position information from the presentation content list storage means.
上記提示用コンテンツ作成制御手段は、上記音声データ取得手段で特徴単語の音声データが取得されたとき上記注釈情報入力手段によってユーザから注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し、上記提示用コンテンツ生成手段は、注釈情報が付加された時刻から所定期間分の音声データを提示用コンテンツとして抽出することを特徴とする請求項１記載の情報蓄積装置。 The information acquisition means is voice data acquisition means for acquiring external voice data, and includes voice recognition means for recognizing a pronunciation of a feature word from the voice data acquired by the voice data acquisition means,
The presentation content creation control means provides a presentation content to the presentation content generation means when the annotation information is input by the annotation information input means when the voice data of the characteristic word is acquired by the voice data acquisition means. 2. The information storage apparatus according to claim 1, wherein an instruction to generate content is given, and the content generation means for presentation extracts audio data for a predetermined period from the time when the annotation information is added as content for presentation.
上記提示用コンテンツ作成制御手段は、上記画像データ取得手段で特徴画像の画像データが取得されたとき上記注釈情報入力手段によってユーザから注釈情報が入力されると提示用コンテンツ生成手段に対して提示用コンテンツの生成を指示し、上記提示用コンテンツ生成手段は、注釈情報が付加された時刻から所定期間分の画像データを提示用コンテンツとして抽出することを特徴とする請求項１記載の情報蓄積装置。 The information acquisition means is image data acquisition means for acquiring external image data, and includes image recognition means for recognizing a feature image from the image data acquired by the image data acquisition means,
The presentation content creation control means provides a presentation content generation means for presentation when annotation information is input from the user by the annotation information input means when the image data of the feature image is acquired by the image data acquisition means. 2. The information storage apparatus according to claim 1, wherein an instruction to generate content is given, and the content generation means for presentation extracts image data for a predetermined period from the time when the annotation information is added as content for presentation.
上記情報取得工程で取得された経験情報がメモリに蓄積される蓄積工程と、
上記情報取得工程で取得された経験情報に対する注釈情報が入力される注釈情報入力工程と、
上記注釈情報入力工程で注釈情報が付加された経験情報を抽出して提示用コンテンツを生成する提示用コンテンツ生成工程と、
上記生成された提示用コンテンツと注釈情報とを対応付けて提示用コンテンツリストとして提示用コンテンツリストメモリに記憶する提示用コンテンツリスト記憶工程と、
上記使用者によって検索条件が注釈情報として入力される検索入力工程と、
上記検索入力工程で入力された検索条件としての注釈情報に対応する経験情報を上記提示用コンテンツリストメモリから抽出して上記使用者に提示する情報提示工程と
を有することを特徴とする情報蓄積方法。 An information acquisition process for acquiring experience information related to the event experienced by the user;
An accumulation step in which the experience information acquired in the information acquisition step is accumulated in a memory;
An annotation information input step in which annotation information for the experience information acquired in the information acquisition step is input;
A presentation content generation step of generating the presentation content by extracting the experience information with the annotation information added in the annotation information input step;
A presentation content list storage step of storing the generated presentation content and annotation information in association with each other in a presentation content list memory as a presentation content list;
A search input process in which search conditions are input as annotation information by the user,
And an information presentation step of extracting experience information corresponding to the annotation information as the search condition input in the search input step from the presentation content list memory and presenting the information to the user. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004174762A JP2005352923A (en) | 2004-06-11 | 2004-06-11 | Device and method for storing information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004174762A JP2005352923A (en) | 2004-06-11 | 2004-06-11 | Device and method for storing information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005352923A true JP2005352923A (en) | 2005-12-22 |
Family
ID=35587338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004174762A Pending JP2005352923A (en) | 2004-06-11 | 2004-06-11 | Device and method for storing information |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005352923A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016194790A (en) * | 2015-03-31 | 2016-11-17 | 大日本印刷株式会社 | Sever device, program and information providing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11331779A (en) * | 1998-05-20 | 1999-11-30 | Sharp Corp | Image retrieving method |
| JP2001092853A (en) * | 1999-07-16 | 2001-04-06 | Fuji Xerox Co Ltd | Information registering device |
| JP2002297630A (en) * | 2001-03-30 | 2002-10-11 | Internatl Business Mach Corp <Ibm> | Method and device for index generation, index addition system, program, and storage medium |
| JP2004070882A (en) * | 2002-08-09 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | Metadata preparing method, contents providing server, metadata preparing program, and recording medium recording the program |
-
2004
- 2004-06-11 JP JP2004174762A patent/JP2005352923A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11331779A (en) * | 1998-05-20 | 1999-11-30 | Sharp Corp | Image retrieving method |
| JP2001092853A (en) * | 1999-07-16 | 2001-04-06 | Fuji Xerox Co Ltd | Information registering device |
| JP2002297630A (en) * | 2001-03-30 | 2002-10-11 | Internatl Business Mach Corp <Ibm> | Method and device for index generation, index addition system, program, and storage medium |
| JP2004070882A (en) * | 2002-08-09 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | Metadata preparing method, contents providing server, metadata preparing program, and recording medium recording the program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016194790A (en) * | 2015-03-31 | 2016-11-17 | 大日本印刷株式会社 | Sever device, program and information providing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210042662A1 (en) | Interactive Information Capture and Retrieval with User-Defined and/or Machine Intelligence Augmented Prompts and Prompt Processing | |
| JP5611829B2 (en) | Operation control system and operation control method for information processing apparatus | |
| CN101329678B (en) | Searching and naming items based on metadata | |
| JP4823135B2 (en) | Information processing device, information processing method, information processing program, and portable terminal device | |
| JP2005149126A (en) | Information acquiring system and method, and information processing program | |
| JP2006031379A (en) | Information presentation apparatus and information presentation method | |
| WO2010047336A1 (en) | Image photographing system and image photographing method | |
| TW200941262A (en) | Universal targeted blogging system | |
| JP2006024060A (en) | Information acquisition utilization managing apparatus, and information acquisition utilization managing method | |
| JP3895892B2 (en) | Multimedia information collection management device and storage medium storing program | |
| JP7257703B2 (en) | PERSONALIZED CONTENT RECOMMENDATION METHOD, GRAPHICAL USER INTERFACE AND SYSTEM THEREOF | |
| CN111541946A (en) | Automatic video generation method and system for resource matching based on materials | |
| JP2005115867A (en) | Private information storing device and method, and private information managing device and method | |
| JP5779938B2 (en) | Playlist creation device, playlist creation method, and playlist creation program | |
| JP2005115868A (en) | Private information storage device and method, and private information management device and method | |
| JP2005352923A (en) | Device and method for storing information | |
| JP2005352922A (en) | Device and method for storing information | |
| US20210390140A1 (en) | Information processing system, information processing method, and information processing apparatus | |
| JP2022145463A (en) | Method and system for recommending location-based digital content | |
| KR20160119738A (en) | System for recommend the customized information, method thereof, and recordable medium storing the method | |
| TWI806207B (en) | Method and system for initiating a location-based topic | |
| JP2005122488A (en) | Private information storage apparatus, private information management apparatus, information management method, and program executing information management processing | |
| CN114615524B (en) | Training method of server and media asset recommendation network and media asset recommendation method | |
| JP2005149125A (en) | Private information storage system and private information management apparatus, and information storage method and information management method | |
| JP2005122485A (en) | Private information accumulation device and private information management device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100427 |