JP5244460B2 - Information automatic organization presentation device and information automatic organization presentation processing program - Google Patents

Information automatic organization presentation device and information automatic organization presentation processing program Download PDF

Info

Publication number
JP5244460B2
JP5244460B2 JP2008137286A JP2008137286A JP5244460B2 JP 5244460 B2 JP5244460 B2 JP 5244460B2 JP 2008137286 A JP2008137286 A JP 2008137286A JP 2008137286 A JP2008137286 A JP 2008137286A JP 5244460 B2 JP5244460 B2 JP 5244460B2
Authority
JP
Japan
Prior art keywords
information
presentation
ranking
presentation device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008137286A
Other languages
Japanese (ja)
Other versions
JP2009282937A (en
Inventor
篤信 木村
稔 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008137286A priority Critical patent/JP5244460B2/en
Publication of JP2009282937A publication Critical patent/JP2009282937A/en
Application granted granted Critical
Publication of JP5244460B2 publication Critical patent/JP5244460B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、ユーザの状態に応じて作業や会話で利用される情報を推測する機能を有する情報自動編成提示装置および情報自動編成提示処理プログラムに関する。   The present invention relates to an information automatic organization presentation device and an information automatic organization presentation processing program having a function of estimating information used in work or conversation according to a user's state.

従来、例えば、特許文献１に開示されるように、ユーザの動作や発話などの状態変化に応じて、その行動に関連する画像や情報を動的に検索して順次提示していくシステムや会話に沿ったWebページを提示するシステムがある。これらのシステムは、ユーザが情報を求める情報を最適なタイミングで提示するシステムである。   Conventionally, as disclosed in Patent Document 1, for example, a system or conversation in which images and information related to the behavior are dynamically searched and sequentially presented in accordance with a change in state such as a user's action or speech There is a system that presents web pages along the line. These systems are systems that present information for which a user requests information at an optimal timing.

特開２００４−３４１６７２号公報JP 2004-341672 A

前述した従来技術では、発話などのトリガーを利用して適切な情報を提示することを目指していた。しかし、情報が提示されるタイミングに関して人間の主観的な感覚を推測することは難しい。また、少しのずれによってユーザは違和感を持つため、人間が主観的に満足する提示を行なうことは難しかった。   The above-described prior art has aimed to present appropriate information using a trigger such as speech. However, it is difficult to infer a human subjective feeling regarding the timing at which information is presented. Moreover, since the user has a sense of incongruity due to a slight deviation, it has been difficult for humans to present subjectively satisfied presentations.

その対処方法として、複数の情報を同時に並べて提示するシステムが考えられるが、同時に提示する情報の数を増やすと、ユーザの主観的な感覚の求める情報が出る確率を高くすることができる一方で、情報が多すぎてユーザはどの情報が主観的な感覚にあう情報であるのかを探す行為にストレスを感じてしまう問題が生ずる。   As a coping method, a system that displays a plurality of pieces of information at the same time can be considered, but increasing the number of pieces of information to be presented at the same time can increase the probability that information required by the user's subjective sense will be obtained, There is a problem that the user feels stressed in the act of searching for which information is subjective information because there is too much information.

そこで、本発明の目的は、ユーザの状況に応じて当該の作業や会話の支援に適した情報を適宜提示することが可能になる情報自動編成提示装置および情報自動編成提示処理プログラムを提供することにある。   Accordingly, an object of the present invention is to provide an information automatic organization presentation device and an information automatic organization presentation processing program that can appropriately present information suitable for support of the work and conversation according to the user's situation. It is in.

すなわち、本発明に係わる情報自動編成提示装置は、提示候補となる提示候補情報を取得する取得手段と、取得手段により取得した提示候補情報の特徴情報を生成する生成手段と、生成手段により生成した特徴情報を取得した提示候補情報ごとに記憶する記憶手段と、新たな生成情報の特徴情報を認識する認識手段と、認識手段による認識結果および記憶手段に記憶される特徴情報をもとに、記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに新たな生成情報に関連する情報としての提示の優先度を示す順位情報を付与する情報順位付与手段と、提示候補情報を提示するための複数種類の提示装置と、提示装置のそれぞれを利用するユーザの注視点重心および顔方向ベクトルをもとに、提示装置のそれぞれについて当該提示装置による提示候補情報の提示の優先度を示す順位情報を閲覧者に対する閲覧のしやすさの度合いに基づいて付与する装置順位付与手段と、情報順位付与手段により付与された順位が高い提示候補情報が装置順位付与手段により付与された順位の高い提示装置により提示されるように、提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段とを備えたことを特徴とする。 That is, the information automatic organization and presentation apparatus according to the present invention is generated by an acquisition unit that acquires presentation candidate information that is a presentation candidate, a generation unit that generates feature information of the presentation candidate information acquired by the acquisition unit, and a generation unit. Based on the storage means for storing the feature information for each presentation candidate information acquired, the recognition means for recognizing the feature information of the newly generated information, the recognition result by the recognition means and the feature information stored in the storage means In order to present presentation candidate information, information ranking provision means for assigning rank information indicating the priority of presentation as information related to newly generated information to each of the presentation candidate information corresponding to the feature information stored in the means a plurality of types of presentation device, based on the gaze point centroid and the face direction vector of the user of the respective presentation device, the presentation about the respective presentation device Device rank allocation unit and, presenting candidate information is high rank granted by the information rank providing means for providing the basis of the rank information indicating the priority degree viewing of ease for viewers of the presentation of the presentation candidate information by location Allocating means for allocating a presentation device that presents the information for each piece of presentation candidate information, so that the presentation device is presented by the presentation device having a higher ranking assigned by the device ranking assignment means .

本発明によれば、ユーザの状況に応じて当該の作業や会話の支援に適した情報を適宜提示することができる。   ADVANTAGE OF THE INVENTION According to this invention, the information suitable for the said operation | work or conversation support can be suitably shown according to a user's condition.

以下図面により本発明の実施形態について説明する。
図１は、本発明の実施形態における情報自動編成提示装置の構成例を示すブロック図である。
図１に示すように、本発明の実施形態における情報自動編成提示装置は、装置全体の処理動作を司る制御部１、キーボードやマウスなどの入力装置２、複数種類の提示装置３、記憶装置４、検出部５、メタデータ生成部６、データランキング処理部７、提示装置ランキング管理部８、提示処理部９および演算処理部１０を備え、それぞれがバス１１を介して相互に接続される。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of an information automatic organization presentation device according to an embodiment of the present invention.
As shown in FIG. 1, an information automatic organization presentation device according to an embodiment of the present invention includes a control unit 1 that controls processing operations of the entire device, an input device 2 such as a keyboard and a mouse, a plurality of types of presentation devices 3, and a storage device 4. , A detection unit 5, a metadata generation unit 6, a data ranking processing unit 7, a presentation device ranking management unit 8, a presentation processing unit 9, and an arithmetic processing unit 10, which are connected to each other via a bus 11.

提示装置３とは情報を提示可能なあらゆる装置が該当し、例えば一般的なディスプレイ、街頭に設置される大画面ディスプレイ、手元に持つ携帯デバイスのディスプレイ、プロジェクタによって壁面や床面、身体に投影されるときの投影面など、動的に情報を提示可能な面などが挙げられる。   The presentation device 3 corresponds to any device capable of presenting information, for example, a general display, a large screen display installed on the street, a display of a portable device held at hand, and projected onto a wall, floor, or body by a projector. For example, a plane on which information can be dynamically presented, such as a projection plane at the time of recording.

記憶装置４は、例えばハードディスクドライブや不揮発性メモリなどの記憶媒体であり、検出部５、メタデータ生成部６、データランキング処理部７、提示装置ランキング管理部８、提示処理部９および演算処理部１０による処理動作のためのプログラムを記憶する他、メタデータ記憶部４１、検出データ記憶部４２、データランキング記憶部４３および提示装置ランキング記憶部４４を有する。   The storage device 4 is a storage medium such as a hard disk drive or a non-volatile memory, for example, and includes a detection unit 5, a metadata generation unit 6, a data ranking processing unit 7, a presentation device ranking management unit 8, a presentation processing unit 9, and an arithmetic processing unit. 10, a metadata storage unit 41, a detection data storage unit 42, a data ranking storage unit 43, and a presentation device ranking storage unit 44.

検出部５は、ユーザが作成した文書情報や当該ユーザが発した発話情報などを検出する。
メタデータ生成部６は、検出部５により検出した情報の特徴を表す情報であるメタデータを生成する。
記憶装置４のメタデータ記憶部４１は、メタデータ生成部６により生成したメタデータを生成元である情報ごとに記憶する。また、記憶装置４の検出データ記憶部４２は、検出部５により新たに検出した情報および当該情報の特徴情報を記憶する。 The detection unit 5 detects document information created by the user, speech information uttered by the user, and the like.
The metadata generation unit 6 generates metadata that is information representing the characteristics of the information detected by the detection unit 5.
The metadata storage unit 41 of the storage device 4 stores the metadata generated by the metadata generation unit 6 for each piece of information that is the generation source. Further, the detection data storage unit 42 of the storage device 4 stores information newly detected by the detection unit 5 and characteristic information of the information.

提示装置ランキング管理部８は、複数種類の提示装置３のそれぞれについて、当該提示装置３による情報提示の優先度の順位を付与することで提示装置ランキングを生成し、当該順位に関する情報を提示装置ランキング記憶部４４に記憶する。提示装置３による情報提示の優先度の順位とは、現状のユーザに対する、各提示装置３についての閲覧しやすい度合いに相当する。   The presentation device ranking management unit 8 generates a presentation device ranking for each of a plurality of types of presentation devices 3 by assigning a priority ranking of information presentation by the presentation device 3, and presents information regarding the ranking as the presentation device ranking. Store in the storage unit 44. The priority order of information presentation by the presentation device 3 corresponds to the degree of easy viewing of each presentation device 3 for the current user.

データランキング処理部７は、検出部５により新たに検出した情報についてメタデータ生成部６により生成した特徴情報、およびメタデータ記憶部４１に記憶される情報をもとに、メタデータ記憶部４１に記憶されるメタデータ生成元のファイルのそれぞれについて、新たな生成情報に関連するデータとしてのユーザへの提示の優先度の順位を付与し、当該順位に関する情報をデータランキング記憶部４３に記憶する。   The data ranking processing unit 7 stores the information newly detected by the detection unit 5 in the metadata storage unit 41 based on the feature information generated by the metadata generation unit 6 and the information stored in the metadata storage unit 41. For each of the metadata generation source files stored, a priority order of presentation to the user as data related to the new generation information is assigned, and information related to the order is stored in the data ranking storage unit 43.

また、データランキング処理部７は、メタデータ記憶部４１、検出データ記憶部４２、データランキング記憶部４３および提示装置ランキング記憶部４４に記憶される情報をもとに、優先度の順位が高いメタデータの生成元のファイルが優先度の順位の高い提示装置３により提示されるように、メタデータの生成元のファイルのそれぞれについて、当該情報の提示先とする提示装置３の種別を決定する割り当て処理を行なう。   Further, the data ranking processing unit 7 has a high priority ranking based on information stored in the metadata storage unit 41, the detection data storage unit 42, the data ranking storage unit 43, and the presentation device ranking storage unit 44. Allocation that determines the type of the presentation device 3 as the presentation destination of the information for each of the metadata generation files so that the data generation source file is presented by the presentation device 3 with the highest priority. Perform processing.

また、提示装置ランキング管理部８やデータランキング処理部７による順位の付与処理のタイミングは、新しいユーザが会話の場に参加したタイミング、ユーザが会話の場から退出したタイミング、顔方向ベクトル平均がランキング決定時の顔方向ベクトル平均に対して135度以上離れている状態が30秒継続したタイミングなどが挙げられる。
また、データランキング処理部７は、上位５位以内のランキングを変更せずに、下位6位以下の情報ランキングを動的に変更することで、各提示装置３について提示対象の情報を動的にさせるなど、ランキングの高低に応じて別のアルゴリズムを適応する方法を用いてもよい。 In addition, the timing of the ranking assignment processing by the presentation device ranking management unit 8 and the data ranking processing unit 7 is as follows: the timing at which a new user joins the conversation place, the timing at which the user leaves the place of conversation, and the face direction vector average For example, the timing when the face direction vector average at the time of determination is 135 degrees or more continues for 30 seconds.
In addition, the data ranking processing unit 7 dynamically changes the information ranking of the lower 6th rank or lower without changing the ranking within the top 5 rank, thereby dynamically changing the information to be presented for each presentation device 3. For example, a method of adapting another algorithm according to the level of ranking may be used.

提示処理部９は、メタデータの生成元のファイルのそれぞれを、当該情報についてデータランキング処理部７により提示先として決定した提示装置３に出力して提示させる。
図２は、本発明の実施形態における情報自動編成提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図である。
図２に示すように、ユーザがキーボードを操作して電子メール用アプリケーションを用いて電子メールのファイルを作成した場合、検出部５は電子メール用アプリケーションを介して電子メールのファイル中の文章を取得し、宛先、タイムスタンプ、タイトルおよび本文などを抽出する。 The presentation processing unit 9 outputs and presents each of the metadata generation source files to the presentation device 3 determined as the presentation destination by the data ranking processing unit 7 for the information.
FIG. 2 is a diagram illustrating an example of a processing process from information input to metadata generation by the information automatic organization presenting apparatus according to the embodiment of the present invention.
As shown in FIG. 2, when the user operates the keyboard to create an e-mail file using the e-mail application, the detection unit 5 acquires the text in the e-mail file via the e-mail application. Destination, time stamp, title, and text.

さらに、メタデータ生成部６は、抽出済みのタイトルや本文の形態素解析を行ない、当該タイトルや本文に含まれる単語群の種類、出現頻度などを生成して、当該情報、宛先、タイムスタンプ、タイトルなどを作成済みの電子メールのファイルのメタデータとする。メタデータ生成部６は、生成したメタデータを作成済みのファイルと関連付けてメタデータ記憶部４１に記憶する。当該メタデータの生成元のファイル自体は記憶装置４に記憶される。また、メタデータ生成部６による形態素解析モジュールとしては例えばJTAG2004が挙げられる。   Further, the metadata generation unit 6 performs morphological analysis of the extracted title and text, generates the type of word group included in the title and text, the appearance frequency, and the information, destination, time stamp, title Etc. are the metadata of the created e-mail file. The metadata generation unit 6 stores the generated metadata in the metadata storage unit 41 in association with the created file. The file itself from which the metadata is generated is stored in the storage device 4. An example of a morphological analysis module by the metadata generation unit 6 is JTAG2004.

また、図２に示すように、ユーザがキーボードを操作して資料作成アプリケーションを用いて発表用の資料のファイルを作成した場合、検出部５は、資料作成アプリケーションを介して作成資料のファイル中の文章を取得し、作成者、編集者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。   In addition, as shown in FIG. 2, when the user creates a presentation material file using the material creation application by operating the keyboard, the detection unit 5 stores the file in the created material file via the material creation application. Acquire text, and extract creator, editor, file creation date and time stamp, title, etc.

この場合、メタデータ生成部６は、抽出済みのタイトルや本文の形態素解析処理を行ない、当該ファイル名や本文に含まれる単語の種類と出現頻度のデータを生成して、当該データおよび前述した作成者、編集者、タイムスタンプ、更新日時、更新回数、ファイル形式、タイトルなどを作成資料のファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部４１に記憶する。   In this case, the metadata generation unit 6 performs morpheme analysis processing of the extracted title and text, generates data on the type and frequency of words included in the file name and text, and generates the data and the above-described creation The editor, the editor, the time stamp, the update date / time, the update count, the file format, the title, and the like are used as metadata of the file of the created material, and the metadata is associated with the created file and stored in the metadata storage unit 41.

また、図２に示すように、ユーザがカメラを操作して撮影を行った場合、検出部５は、撮影により生成された画像ファイルを解析して、作成者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。
また、図２に示すように、ユーザが手書き操作によりタッチパネル操作を行った場合、検出部５は、作成者、ファイル作成日時であるタイムスタンプ、タイトルなどを抽出する。 As shown in FIG. 2, when the user operates the camera to shoot, the detection unit 5 analyzes the image file generated by shooting, and creates a time stamp that is a creator, a file creation date and time, Extract titles etc.
As shown in FIG. 2, when the user performs a touch panel operation by handwriting, the detection unit 5 extracts a creator, a time stamp that is a file creation date, a title, and the like.

また、図２に示すように、ユーザが発話した場合、検出部５は、図示しないマイクロフォンを介してユーザの発話情報を取得して当該発話情報の音声ファイルの作成を開始するとともに、当該発話情報の音声認識処理を行なうことで、発話者、対話者、録音日時であるタイムスタンプ、発話箇所である会議室の名称、発話内容の文章を抽出する。   As shown in FIG. 2, when the user utters, the detection unit 5 acquires the user's utterance information via a microphone (not shown) and starts creating an audio file of the utterance information. , The time stamp that is the recording date and time, the name of the conference room that is the speech location, and the text of the speech content are extracted.

また、検出部５は、図示しない撮影装置により撮影された映像を認識して所定半径以内に複数のユーザがいるか否かを判別することで、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。
この場合、メタデータ生成部６は、抽出済みの発話内容の文章の形態素解析処理を行ない、発話内容に含まれる単語の種類と出現頻度のデータを生成して、これらのデータおよび前述した発話者、対話者、タイムスタンプ、会議室の名称および作成した音声ファイルのファイル名を発話情報の音声ファイルのメタデータとし、当該メタデータを作成済みのファイルと関連付けてメタデータ記憶部４１に記憶する。 In addition, the detection unit 5 recognizes that a conversation or conference is separated by recognizing an image captured by an imaging device (not shown) and determining whether there are a plurality of users within a predetermined radius. If so, the creation of the audio file is terminated.
In this case, the metadata generation unit 6 performs a morphological analysis process on the sentence of the extracted utterance content, generates data on the type and frequency of words included in the utterance content, and these data and the above-described speaker The dialogue person, the time stamp, the name of the conference room, and the file name of the created voice file are used as the metadata of the voice file of the utterance information, and the metadata is stored in the metadata storage unit 41 in association with the created file.

また、前述したように、文章を含むファイルが作成された場合、検出部５は、ファイル中で利用されている単語のうち、ニュース報道などで時世を反映して利用されている単語と一致する単語や、丁寧語かそうでないか、などの助詞の利用方法の違いを示す情報を当該ファイルのメタデータとしてもよい。   In addition, as described above, when a file including a sentence is created, the detection unit 5 matches the word used in the news report etc. reflecting the times in the word used in the file. The information indicating the difference in the usage method of the particle, such as whether the word to be used or whether it is polite or not, may be used as the metadata of the file.

図３は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第１の構成例を表形式で示す図である。図４は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第２の構成例を表形式で示す図である。図５は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第３の構成例を表形式で示す図である。図６は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第４の構成例を表形式で示す図である。図７は、本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第５の構成例を表形式で示す図である。
図３に示した構造のメタデータは電子メールの作成済みファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、宛先の「To:」、「Cc:」、「Bcc:」、タイムスタンプ、タイトル、本文テキストファイル名およびテキストの形態素解析結果でなる。 FIG. 3 is a diagram showing a first configuration example of metadata stored in the storage device of the information automatic organization presenting apparatus in the embodiment of the present invention in a table format. FIG. 4 is a diagram showing a second configuration example of the metadata stored in the storage device of the automatic information organization presentation device in the embodiment of the present invention in a table format. FIG. 5 is a diagram showing a third configuration example of metadata stored in the storage device of the information automatic organization presenting apparatus in the embodiment of the present invention in a table format. FIG. 6 is a diagram showing a fourth configuration example of metadata stored in the storage device of the automatic information organization presentation device in the embodiment of the present invention in a table format. FIG. 7 is a diagram showing a fifth configuration example of metadata stored in the storage device of the automatic information organization presentation device in the embodiment of the present invention in a table format.
The metadata of the structure shown in FIG. 3 is the metadata of the created file of the e-mail, and the type, “application name_date_data number”, destination “To:”, “Cc:”, “Bcc:” , Time stamp, title, body text file name and text morphological analysis result.

図４に示した構造のメタデータは作成資料のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、作成者、編集者、タイムスタンプ、タイトル、データファイル名およびテキストの形態素解析結果でなる。
図５に示した構造のメタデータはカメラ撮影画像のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、タイムスタンプおよびデータファイル名でなる。 The metadata of the structure shown in FIG. 4 is the metadata of the file of the created material, and the type, “application name_date_data number”, creator, editor, time stamp, title, data file name, and text morpheme It consists of analysis results.
The metadata having the structure shown in FIG. 5 is metadata of a camera-captured image file, and includes a type, “application name_date_data number”, an input person, a time stamp, and a data file name.

図６に示した構造のメタデータはタッチパネル入力データのファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、入力者、編集者、タイムスタンプ、会議室、データファイル名およびテキストの形態素解析結果でなる。
図７に示した構造のメタデータは発話情報のファイルのメタデータであり、種別、「アプリケーション名_日付_データ番号」、発話者、対話者、タイムスタンプ、会議室、データファイル名および発話内容の形態素解析結果でなる。 The metadata of the structure shown in FIG. 6 is the metadata of the touch panel input data file, and the type, “application name_date_data number”, input person, editor, time stamp, conference room, data file name, and text The result of morpheme analysis.
The metadata having the structure shown in FIG. 7 is the metadata of the utterance information file, and includes the type, “application name_date_data number”, speaker, conversation person, time stamp, conference room, data file name, and utterance content. The result of morpheme analysis.

次に、図１に示した構成の選択式情報提示装置の動作について説明する。
図８は、本発明の実施形態における情報自動編成提示装置による処理動作の一例を示すフローチャートである。ここでは、図３から図７に示したような構造のメタデータがメタデータ記憶部４１に記憶されるとする。
まず、会議を行なっている複数のユーザのうち一人が新たな発話を行なった場合、検出部５はマイクロフォンを介して発話情報を入力して（ステップＳ１）、当該発話情報の音声ファイルの作成を開始するとともに、発話情報の音声認識を行なうことで、発話者、対話者、発話箇所である会議室の名称および発話内容の文章を抽出する（ステップＳ２）。
また、検出部５は、前述したように、一つの会話や会議の区切りがなされたことが認められる場合には、音声ファイルの作成を終了する。 Next, the operation of the selective information presentation device configured as shown in FIG. 1 will be described.
FIG. 8 is a flowchart showing an example of a processing operation performed by the information automatic organization presentation device according to the embodiment of the present invention. Here, it is assumed that metadata having a structure as shown in FIGS. 3 to 7 is stored in the metadata storage unit 41.
First, when one of a plurality of users having a meeting makes a new utterance, the detection unit 5 inputs the utterance information via the microphone (step S1), and creates an audio file of the utterance information. At the same time, speech recognition of speech information is performed to extract a speaker, a dialoguer, a conference room name as a speech location, and a text of speech content (step S2).
In addition, as described above, the detection unit 5 ends the creation of the audio file when it is recognized that one conversation or conference is separated.

そして、メタデータ生成部６は、抽出済みの発話内容の文章を形態素解析し（ステップＳ３）、発話内容に含まれる単語の種類を示すキーワードを出現頻度に応じて並べたデータを生成して、当該データと前述したように抽出済みの発話者、対話者、発話箇所である会議室の名称とでなる、新たな発話情報のメタデータ群である検出データを作成済みの音声ファイルと関連付けて記憶装置４の検出データ記憶部４２に記憶する（ステップＳ４）。
ステップＳ１からＳ４の処理では、新たな発話がなされた場合に、発話内容の文章の形態素解析を経て、当該発話内容のメタデータ群である検出データを生成すると説明したが、これに限らず、図２に示すようにキーボード操作により新たな文書情報が生成されたり、カメラ撮影により画像情報が生成されたり、タッチパネルへの操作により新規の情報が生成されたりした場合に、当該生成された情報の検出データを生成するようにしてもよい。 And the metadata production | generation part 6 produces | generates the data which arranged the keyword which shows the kind of word contained in the utterance content according to the appearance frequency by performing the morphological analysis of the sentence of the extracted utterance content, As described above, detection data, which is a metadata group of new utterance information, consisting of the extracted utterer, conversation person, and the name of the conference room as the utterance location as described above is stored in association with the created audio file. It memorize | stores in the detection data memory | storage part 42 of the apparatus 4 (step S4).
In the processing of steps S1 to S4, when a new utterance is made, it has been described that the detection data that is a metadata group of the utterance content is generated through morphological analysis of the sentence of the utterance content. As shown in FIG. 2, when new document information is generated by a keyboard operation, image information is generated by camera shooting, or new information is generated by an operation on a touch panel, the generated information Detection data may be generated.

次に、演算処理部１０は、ユーザの顔方向ベクトルおよび注視点重心を算出する（ステップＳ５）。以下、ステップＳ５の処理の詳細を説明する。
図９は、本発明の実施形態における情報自動編成提示装置の演算処理部による注視点重心及び顔方向ベクトルの演算処理の流れを示す図である。
次に、演算処理部１０は、図示しないカメラにより撮影した映像情報を取得することで、周辺にいるユーザの肌色領域を検出する（ステップＳ１１）。そして、演算処理部１０は、記憶装置４に予め記憶される一般的な人物の様々な角度からの顔の写真が管理される顔データベースを読み出し（ステップＳ１２）、検出済みのユーザの肌色領域の情報と顔データベースとの特徴量のパターンマッチングを行ない（ステップＳ１３）、現在のユーザの顔の顔方向ベクトルを検出する。 Next, the arithmetic processing unit 10 calculates the user's face direction vector and the gaze point gravity center (step S5). Details of the process in step S5 will be described below.
FIG. 9 is a diagram showing the flow of the calculation processing of the gaze point gravity center and the face direction vector by the calculation processing unit of the automatic information organization and presentation device according to the embodiment of the present invention.
Next, the arithmetic processing unit 10 detects the skin color region of the user in the vicinity by acquiring video information captured by a camera (not shown) (step S11). Then, the arithmetic processing unit 10 reads a face database in which face pictures from various angles of a general person stored in advance in the storage device 4 are managed (step S12), and the detected skin color area of the user is read. Pattern matching of the feature quantity between the information and the face database is performed (step S13), and the face direction vector of the current user's face is detected.

演算処理部１０は、顔方向ベクトルの時系列データに対して、一定間隔ごとに過去１分間の平均値を求め、当該平均値を当該ユーザの現時点での顔方向ベクトルとする（ステップＳ１４）。
また、演算処理部１０は、各種の提示装置３に関する情報を読み出し（ステップＳ１５）、当該読み出した情報および前述したように求められた顔方向ベクトルの情報をもとに、各種の提示装置３の提示面のどの部分に注視点が存在するかを計算する（ステップＳ１６）。 The arithmetic processing unit 10 obtains an average value for the past one minute at regular intervals for the time-series data of the face direction vector, and sets the average value as the current face direction vector of the user (step S14).
The arithmetic processing unit 10 reads information on various presentation devices 3 (step S15), and based on the read information and the information on the face direction vector obtained as described above, It is calculated in which part of the presentation surface the gazing point exists (step S16).

演算処理部１０は、周辺にいるユーザが複数である場合は、注視点の情報より重心を算出して、ユーザ群の注視点重心を得る（ステップＳ１７）。
また、演算処理部１０は、周辺にいるユーザが複数である場合は、各ユーザの顔方向ベクトルより平均ベクトルを算出することで、ユーザ群の顔方向ベクトル平均を得る（ステップＳ１８）。以後、ユーザは周辺に複数いるものとして説明を行なう。以上でステップＳ５の処理の詳細の説明を終了する。 When there are a plurality of users in the vicinity, the arithmetic processing unit 10 calculates the center of gravity from the information of the gazing point, and obtains the gazing point centroid of the user group (step S17).
In addition, when there are a plurality of users in the vicinity, the arithmetic processing unit 10 calculates the average vector from the face direction vectors of each user to obtain the face direction vector average of the user group (step S18). In the following description, it is assumed that there are a plurality of users in the vicinity. This is the end of the detailed description of step S5.

次に、提示装置ランキング管理部８は、各種の提示装置３のそれぞれに対してファイルの提示の優先度の順位を付与することで提示装置ランキングを生成する（ステップＳ６）。以下、ステップＳ６の処理の詳細を説明する。
図１０は、本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による処理動作の流れを示す図である。
提示装置ランキング管理部８は、複数種類の提示装置３の設置形態において、提示装置３の大きさ、位置情報、設置時の提示面の姿勢情報などの情報をあらかじめ取得する。 Next, the presentation device ranking management unit 8 generates a presentation device ranking by assigning a priority of file presentation to each of the various presentation devices 3 (step S6). Details of the process in step S6 will be described below.
FIG. 10 is a diagram showing a flow of processing operations performed by the presentation device ranking management unit of the information automatic organization presentation device according to the embodiment of the present invention.
The presentation device ranking management unit 8 obtains in advance information such as the size, position information of the presentation device 3, and posture information of the presentation surface at the time of installation in the installation forms of a plurality of types of presentation devices 3.

提示装置３の設置形態としては、空間のほぼ全面が情報投影空間である、全方位プロジェクタや全面ディスプレイが部屋導入されている形態、空間の任意の面に情報を投影可能な首振り型プロジェクタが設置されている形態、もしくは一般的な固定型プロジェクタや据え置き型ディスプレイが設置される形態などが挙げられる。また、提示装置ランキング管理部８は、別途、提示装置３に位置センサを取り付けることにより、動的に設置時の提示面の姿勢情報を取得することも可能である。   As the installation form of the presentation device 3, there is an information projection space where almost the entire surface is an information projection space, a form in which an omnidirectional projector or a full display is introduced into the room, and a swinging projector capable of projecting information on any surface of the space. A configuration in which the projector is installed or a general fixed projector or a stationary display is installed. Moreover, the presentation apparatus ranking management part 8 can also acquire the attitude | position information of the presentation surface at the time of installation dynamically by attaching a position sensor to the presentation apparatus 3 separately.

そして、提示装置ランキング管理部８は、前述した提示装置３の大きさ、位置情報設置時の提示面の姿勢情報をもとに、記憶装置４に記憶される作成済みファイルの提示の対象となる提示装置３を識別する（ステップＳ２１）。
具体的には、提示装置ランキング管理部８は、前述した位置情報をもとに、該当ユーザの位置より隠蔽関係にある提示装置３を対象から除外する。また、提示装置ランキング管理部８は、対象から除外されなかった提示装置３のそれぞれについて、前述した提示面の大きさ、位置情報、姿勢情報より提示面に提示された情報が視認可能な状態で否かを識別する。視認可能な状態であるか否かは、提示装置３の解像度に比例してユーザと提示装置の距離に反比例する式より算出可能である。 The presentation device ranking management unit 8 is a target for presenting the created file stored in the storage device 4 based on the size of the presentation device 3 and the orientation information of the presentation surface when the position information is set. The presentation device 3 is identified (step S21).
Specifically, the presentation device ranking management unit 8 excludes the presentation device 3 that is concealed from the position of the corresponding user from the target based on the position information described above. Moreover, the presentation apparatus ranking management part 8 is in the state which can visually recognize the information shown on the presentation surface from the size, position information, and posture information of the presentation surface described above for each of the presentation devices 3 that are not excluded from the target. Identify whether or not. Whether or not it is in a visually recognizable state can be calculated from an equation that is proportional to the resolution of the presentation device 3 and inversely proportional to the distance between the user and the presentation device.

そして、提示装置ランキング管理部８は、前述したように演算処理部１０により算出されたユーザ群の注視点重心と顔方向ベクトルとをもとに提示装置ランキングを生成する（ステップＳ２２）。
図１１は、本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による提示装置ランキング生成方法の一例を示す図である。
ステップＳ２２の処理の具体例を説明する。提示装置ランキング管理部８は、提示装置ランキングを、ユーザ群の注視点重心と顔方向ベクトル平均によって決定する。 And the presentation apparatus ranking management part 8 produces | generates a presentation apparatus ranking based on the gaze point gravity center and face direction vector of a user group calculated by the arithmetic processing part 10 as mentioned above (step S22).
FIG. 11 is a diagram illustrating an example of a presentation device ranking generation method by the presentation device ranking management unit of the automatic information organization presentation device according to the embodiment of the present invention.
A specific example of the process in step S22 will be described. The presentation device ranking management unit 8 determines the presentation device ranking based on the gaze point gravity center of the user group and the face direction vector average.

同心球に収まる提示装置３のうち、最も注視点重心に近い装置に対して掲示装置ランキングの最も高い順序が付与される。例を挙げると、注視点重心と提示面の重心との距離が３０センチメートルである提示装置３より、距離が１０センチメートルである提示装置３の方が優先度の順位は高い。   Among the presentation devices 3 that fit in the concentric sphere, the device with the highest posting device ranking is assigned to the device that is closest to the center of gravity of the gazing point. For example, the presentation device 3 having a distance of 10 centimeters has a higher priority than the presentation device 3 having a distance between the centroid of the gazing point and the gravity center of the presentation surface being 30 centimeters.

また、提示装置３の提示面の法線ベクトルがユーザ群の顔方向ベクトル平均に最も近い面の方が優先度の順位は高い。例を挙げると、法線ベクトルと顔方向ベクトル平均の差が１０度である提示装置３より、差が５度である提示装置３の方が付与される優先度の順位は高い。   In addition, the priority order is higher in the surface where the normal vector of the presentation surface of the presentation device 3 is closest to the average of the face direction vectors of the user group. For example, the presentation device 3 having a difference of 5 degrees has a higher priority ranking than the presentation device 3 having a difference between the normal vector and the face direction vector average of 10 degrees.

提示装置ランキング管理部８は、当該提示装置ランキングの順位が付された各提示装置３の識別情報を提示装置ランキング記憶部４４に記憶する。以上でステップＳ６の処理の詳細の説明を終了する。
次に、データランキング処理部７は、作成済みデータについてのデータランキングの生成を経て、記憶装置４に記憶される作成済みファイルの提示先の提示装置を決定する（ステップＳ７）。以下、ステップＳ７の処理の詳細を説明する。
図１２は、本発明の実施形態における情報自動編成提示装置のデータランキング処理部による処理動作の流れを示す図である。
データランキング処理部７は、まず、ステップＳ４の処理により生成された検出データを検出データ記憶部４２から取得し（ステップＳ３１）、当該検出データを検索キーとして、作成済みファイルのメタデータをメタデータ記憶部４１より検索する（ステップＳ３２）。 The presentation device ranking management unit 8 stores the identification information of each presentation device 3 with the ranking of the presentation device ranking in the presentation device ranking storage unit 44. This is the end of the detailed description of the process in step S6.
Next, the data ranking processing unit 7 determines the presentation device of the presentation destination of the created file stored in the storage device 4 through generation of data ranking for the created data (step S7). Details of the process in step S7 will be described below.
FIG. 12 is a diagram showing a flow of processing operations performed by the data ranking processing unit of the information automatic organization presenting apparatus according to the embodiment of the present invention.
First, the data ranking processing unit 7 obtains the detection data generated by the process of step S4 from the detection data storage unit 42 (step S31), and uses the detection data as a search key to set the metadata of the created file as metadata. Search is performed from the storage unit 41 (step S32).

データランキング処理部７は、メタデータ記憶部４１に記憶されるメタデータに関わる作成済みファイルのそれぞれについて、当該ファイルのメタデータと検出データ中のキーワードを含む各種情報との一致率を計算し、当該一致率の高いファイルに情報提示の優先度の順位を付与することで、作成済みファイルを優先度の高低にしたがって序列化したデータランキングを生成し、当該データランキングの情報をデータランキング記憶部４３に記憶する（ステップＳ３３）。   The data ranking processing unit 7 calculates, for each of the created files related to the metadata stored in the metadata storage unit 41, a matching rate between the metadata of the file and various information including keywords in the detection data, By giving a priority of information presentation to a file with a high matching rate, a data ranking is generated by ranking the created files according to the priority, and the data ranking information is stored in the data ranking storage unit 43. (Step S33).

そして、データランキング処理部７は、提示装置ランキング管理部８により生成済みの提示装置ランキングを提示装置ランキング記憶部４４から取得し（ステップＳ３４）、作成済みのファイルのそれぞれについて、提示対象の提示装置３の種別を決定する（ステップＳ３５）。具体的には、データランキング処理部７により一番高い順位が付与された作成済みファイルの提示先は提示装置ランキング管理部８により一番高い順位が付与された提示装置３となり、データランキング処理部７により２番目に高い順位が付与された作成済みファイルの提示先は提示装置ランキング管理部８により２番目に高い順位が付与された提示装置３となる。以下、データランキング処理部７により順位が付与された作成済みファイルは、提示装置ランキング管理部８により同じ順位が付与された提示装置３となる。以上でステップＳ７の処理の詳細の説明を終了する。   Then, the data ranking processing unit 7 acquires the presentation device ranking generated by the presentation device ranking management unit 8 from the presentation device ranking storage unit 44 (step S34), and presents the presentation target presentation device for each of the created files. 3 is determined (step S35). Specifically, the presentation destination of the created file to which the highest ranking is given by the data ranking processing unit 7 is the presentation device 3 to which the highest ranking is given by the presentation device ranking management unit 8, and the data ranking processing unit The presentation destination of the created file to which the second highest ranking is given by 7 is the presentation device 3 to which the second highest ranking is given by the presentation device ranking management unit 8. Hereinafter, the created file to which the ranking is given by the data ranking processing unit 7 becomes the presentation device 3 to which the same ranking is given by the presentation device ranking management unit 8. This is the end of the detailed description of the processing in step S7.

そして、提示処理部９は、ステップＳ３５による処理結果をもとに、作成済みのファイルのそれぞれを記憶装置４から読み出して、提示対象とされた提示装置３へ提示させる（ステップＳ８）。そして、提示処理部９は、ステップＳ４の処理で記憶装置４の検出データ記憶部４２に記憶された検出データであるメタデータ群をメタデータ記憶部４１にも記憶する。これにより、新たな情報生成がさらになされた場合の提示処理部９による処理の精度が向上する。
以上のように、本発明の実施形態における情報自動編成提示装置では、ユーザにより作成されたファイル、つまり後の提示候補となるファイルの特徴情報を記憶しておき、新たな情報が作成された場合に、当該生成され特徴情報を生成した上で、提示候補ファイルを閲覧するユーザの顔の顔方向ベクトルや注視点重心をもとに各提示装置３について提示先としての優先度の順位を付与し、各種の提示候補ファイルのそれぞれについて提示の優先度の順位を付与し、これらの情報をもとに提示候補のファイルのそれぞれについて提示対象の提示装置３の種別を決定するので、ユーザの状態をもとに動的な情報提示を行なうことができ、多量の情報を直感的に閲覧することができ、スムーズな共同作業や会話を行なうことができる。よって、効果多量の情報を、複数のユーザで直感的に閲覧することができる。これにより、コンピュータが得意とする多量の情報を自動的に処理する能力を生かして人間の創造活動を支援することができる。 And the presentation process part 9 reads each created file from the memory | storage device 4 based on the process result by step S35, and makes the presentation apparatus 3 made into presentation object present (step S8). And the presentation process part 9 memorize | stores also in the metadata memory | storage part 41 the metadata group which is the detection data memorize | stored in the detection data memory | storage part 42 of the memory | storage device 4 by the process of step S4. Thereby, the accuracy of processing by the presentation processing unit 9 when new information generation is further performed is improved.
As described above, in the information automatic organization and presentation device according to the embodiment of the present invention, when new information is created by storing feature information of a file created by a user, that is, a file that is a subsequent presentation candidate. In addition, after the generated feature information is generated, each presentation device 3 is given a priority ranking as a presentation destination based on the face direction vector and the gaze point centroid of the face of the user browsing the presentation candidate file. Since the priority of the presentation is assigned to each of the various presentation candidate files, and the type of the presentation device 3 to be presented is determined for each of the presentation candidate files based on these pieces of information, the state of the user is determined. Based on this, dynamic information can be presented, a large amount of information can be browsed intuitively, and smooth collaboration and conversation can be performed. Therefore, a large amount of information can be browsed intuitively by a plurality of users. As a result, it is possible to support human creative activities by taking advantage of the ability to automatically process a large amount of information that computers are good at.

以上説明した実施形態では、提示装置ランキング管理部８により動的に優先度の順位を各提示装置３に付与すると説明したが、これに限らず、入力装置２への操作により、予め当該提示装置３の設置場所の特性に適合した固有のランキングを付与したり、利用するユーザグループの種別に応じて固定のランキングを付与したりするようにしてもよい。   In the embodiment described above, it has been described that the priority ranking is dynamically given to each presentation device 3 by the presentation device ranking management unit 8. However, the present invention is not limited to this, and the presentation device is previously provided by an operation on the input device 2. 3 may be given a unique ranking suitable for the characteristics of the installation location, or may be given a fixed ranking according to the type of user group to be used.

また、入力装置２への操作により、提示装置３に提示される情報を加工したり、提示装置３間で提示対象の情報を移動させたりすることが可能である。これにより、ユーザの意向をふまえた情報提示を行なうことができる。
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In addition, by operating the input device 2, it is possible to process information presented on the presentation device 3 and move information to be presented between the presentation devices 3. Thereby, information presentation based on the user's intention can be performed.
The present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be omitted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

本発明の実施形態における情報自動編成提示装置の構成例を示すブロック図。The block diagram which shows the structural example of the information automatic organization presentation apparatus in embodiment of this invention. 本発明の実施形態における情報自動編成提示装置による情報入力からメタデータ生成までの処理過程の一例を示す図。The figure which shows an example of the process process from the information input by the information automatic organization presentation apparatus in embodiment of this invention to metadata production | generation. 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第１の構成例を表形式で示す図。The figure which shows the 1st structural example of the metadata memorize | stored in the memory | storage device of the information automatic organization presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第２の構成例を表形式で示す図。The figure which shows the 2nd structural example of the metadata memorize | stored in the memory | storage device of the information automatic organization presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第３の構成例を表形式で示す図。The figure which shows the 3rd structural example of the metadata memorize | stored in the memory | storage device of the information automatic organization presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第４の構成例を表形式で示す図。The figure which shows the 4th structural example of the metadata memorize | stored in the memory | storage device of the information automatic organization presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における情報自動編成提示装置の記憶装置に記憶されるメタデータの第５の構成例を表形式で示す図。The figure which shows the 5th structural example of the metadata memorize | stored in the memory | storage device of the information automatic organization presentation apparatus in embodiment of this invention in a table format. 本発明の実施形態における情報自動編成提示装置による処理動作の一例を示すフローチャート。The flowchart which shows an example of the processing operation by the information automatic organization presentation apparatus in the embodiment of the present invention. 本発明の実施形態における情報自動編成提示装置の演算処理部による注視点重心及び顔方向ベクトルの演算処理の流れを示す図。The figure which shows the flow of a calculation process of the gaze point gravity center and face direction vector by the calculation process part of the information automatic organization presentation apparatus in embodiment of this invention. 本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による処理動作の流れを示す図。The figure which shows the flow of the processing operation by the presentation apparatus ranking management part of the information automatic organization presentation apparatus in embodiment of this invention. 本発明の実施形態における情報自動編成提示装置の提示装置ランキング管理部による提示装置ランキング生成方法の一例を示す図。The figure which shows an example of the presentation apparatus ranking production | generation method by the presentation apparatus ranking management part of the information automatic organization presentation apparatus in embodiment of this invention. 本発明の実施形態における情報自動編成提示装置のデータランキング処理部による処理動作の流れを示す図。The figure which shows the flow of the processing operation by the data ranking process part of the information automatic organization presentation apparatus in embodiment of this invention.

符号の説明Explanation of symbols

１…制御部、２…入力装置、３…表示装置、４…記憶装置、５…検出部、６…メタデータ生成部、７…データランキング処理部、８…提示装置ランキング管理部、９…提示処理部、１０…演算処理部、１１…バス、４１…メタデータ記憶部、４２…検出データ記憶部、４３…データランキング記憶部、４４…提示装置ランキング記憶部。   DESCRIPTION OF SYMBOLS 1 ... Control part, 2 ... Input device, 3 ... Display apparatus, 4 ... Memory | storage device, 5 ... Detection part, 6 ... Metadata production | generation part, 7 ... Data ranking processing part, 8 ... Presentation apparatus ranking management part, 9 ... Presentation Processing unit, 10 ... arithmetic processing unit, 11 ... bus, 41 ... metadata storage unit, 42 ... detection data storage unit, 43 ... data ranking storage unit, 44 ... presentation device ranking storage unit.

Claims (6)

提示候補となる提示候補情報を取得する取得手段と、
前記取得手段により取得した提示候補情報の特徴情報を生成する生成手段と、
前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに記憶する記憶手段と、
新たな生成情報の特徴情報を認識する認識手段と、
前記認識手段による認識結果および前記記憶手段に記憶される特徴情報をもとに、前記記憶手段に記憶される特徴情報に対応する提示候補情報のそれぞれに前記新たな生成情報に関連する情報としての提示の優先度を示す順位情報を付与する情報順位付与手段と、
前記提示候補情報を提示するための複数種類の提示装置と、
前記提示装置のそれぞれを利用するユーザの注視点重心および顔方向ベクトルをもとに、前記提示装置のそれぞれについて当該提示装置による前記提示候補情報の提示の優先度を示す順位情報を閲覧者に対する閲覧のしやすさの度合いに基づいて付与する装置順位付与手段と、
前記情報順位付与手段により付与された順位が高い提示候補情報が前記装置順位付与手段により付与された順位の高い提示装置により提示されるように、前記提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段と
を備えたことを特徴とする情報自動編成提示装置。 Acquisition means for acquiring presentation candidate information to be a presentation candidate;
Generating means for generating feature information of the presentation candidate information acquired by the acquiring means;
Storage means for storing the feature information generated by the generating means for each of the acquired presentation candidate information;
Recognizing means for recognizing feature information of newly generated information;
Based on the recognition result by the recognition unit and the feature information stored in the storage unit, each of the presentation candidate information corresponding to the feature information stored in the storage unit is used as information related to the newly generated information. An information rank giving means for adding rank information indicating the priority of presentation;
A plurality of types of presentation devices for presenting the presentation candidate information;
Based on the fixation point centroid and the face direction vector of the user using each of the presentation device, for viewers to order information indicating the priority of the presentation of the presentation candidate information by the presentation device attached to each of the presentation device Device ranking granting means for granting based on the degree of ease of browsing ;
Wherein such information rank allocation presenting candidate information is high rank granted by means is presented by ranking high presentation device which is provided by the device rank allocation unit, presenting for presenting the information for each of the presentation candidate information An automatic information organization and presentation device comprising an assigning unit for assigning a device. 前記装置順位付与手段は、
前記それぞれの提示装置における提示部分の位置情報や大きさをもとに前記提示装置のそれぞれについて前記順位情報を付与する
ことを特徴とする請求項１に記載の情報自動編成提示装置。 The device ranking assigning means
2. The information automatic organization and presentation device according to claim 1, wherein the ranking information is assigned to each of the presentation devices based on position information and size of a presentation portion in each of the presentation devices. 前記認識手段により認識する新たな生成情報は新たに生成された文書情報である
ことを特徴とする請求項１に記載の情報自動編成提示装置。 2. The information automatic organization and presentation apparatus according to claim 1, wherein the new generation information recognized by the recognition means is newly generated document information. 前記認識手段により認識する新たな生成情報は新たな発話情報である
ことを特徴とする請求項１に記載の情報自動編成提示装置。 2. The information automatic organization and presentation device according to claim 1, wherein the new generation information recognized by the recognition means is new utterance information. 前記生成手段により生成する前記提示候補情報の特徴情報には当該提示候補情報の生成に関わる人物の情報が含まれ、
前記認識手段により認識する新たな生成情報の特徴情報には当該生成情報の生成に関わる人物の情報が含まれる
ことを特徴とする請求項１に記載の情報自動編成提示装置。 The feature information of the presentation candidate information generated by the generation means includes information on a person involved in the generation of the presentation candidate information,
The information automatic organization presentation apparatus according to claim 1, wherein the feature information of the new generation information recognized by the recognition means includes information on a person involved in generation of the generation information. 記憶装置および提示候補となる提示候補情報を提示するための複数種類の提示装置を備えたコンピュータを、
前記提示候補情報を取得する取得手段、
前記取得手段により取得した提示候補情報の特徴情報を生成する生成手段、
前記生成手段により生成した特徴情報を前記取得した提示候補情報ごとに前記記憶装置に記憶する記憶制御手段、
新たな生成情報の特徴情報を認識する認識手段、
前記認識手段による認識結果および前記記憶装置に記憶される特徴情報をもとに、前記記憶装置に記憶される特徴情報に対応する提示候補情報のそれぞれに前記新たな生成情報に関連する情報としての提示の優先度を示す順位情報を付与する情報順位付与手段、
前記提示装置のそれぞれを利用するユーザの注視点重心および顔方向ベクトルをもとに、前記提示装置のそれぞれについて当該提示装置による前記提示候補情報の提示の優先度を示す順位情報を閲覧者に対する閲覧のしやすさの度合いに基づいて付与する装置順位付与手段、および
前記情報順位付与手段により付与された順位が高い提示候補情報が前記装置順位付与手段により付与された順位の高い提示装置により提示されるように、前記提示候補情報のそれぞれについて当該情報を提示する提示装置を割り当てる割り当て手段
として機能させるための情報自動編成提示処理プログラム。 A computer including a storage device and a plurality of types of presentation devices for presenting presentation candidate information as presentation candidates.
An acquisition means for acquiring the presentation candidate information;
Generating means for generating feature information of the presentation candidate information acquired by the acquiring means;
Storage control means for storing the feature information generated by the generating means in the storage device for each of the acquired presentation candidate information;
Recognizing means for recognizing feature information of newly generated information,
Based on the characteristic information stored in the recognition result and the storage device by the recognition means, as the information related to the new generation information to each presentation candidate information corresponding to the characteristic information stored in the storage device Information rank giving means for giving rank information indicating the priority of presentation;
Based on the fixation point centroid and the face direction vector of the user using each of the presentation device, for viewers to order information indicating the priority of the presentation of the presentation candidate information by the presentation device attached to each of the presentation device A device ranking granting unit that grants based on the degree of ease of browsing , and a presentation candidate information that has a higher ranking given by the information ranking granting unit is presented by a higher ranking presentation device that is given by the device ranking granting unit. As described above, an information automatic organization presentation processing program for causing each of the presentation candidate information to function as an assigning unit that assigns a presentation device that presents the information.
JP2008137286A 2008-05-26 2008-05-26 Information automatic organization presentation device and information automatic organization presentation processing program Expired - Fee Related JP5244460B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008137286A JP5244460B2 (en) 2008-05-26 2008-05-26 Information automatic organization presentation device and information automatic organization presentation processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008137286A JP5244460B2 (en) 2008-05-26 2008-05-26 Information automatic organization presentation device and information automatic organization presentation processing program

Publications (2)

Publication Number Publication Date
JP2009282937A JP2009282937A (en) 2009-12-03
JP5244460B2 true JP5244460B2 (en) 2013-07-24

Family

ID=41453288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008137286A Expired - Fee Related JP5244460B2 (en) 2008-05-26 2008-05-26 Information automatic organization presentation device and information automatic organization presentation processing program

Country Status (1)

Country Link
JP (1) JP5244460B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY194747A (en) * 2016-04-20 2022-12-15 Nissan Motor Information display method and display control device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148758A (en) * 1999-11-19 2001-05-29 Canon Inc Image controller, method of output control of image controller, and storage medium
JP2001202503A (en) * 2000-01-24 2001-07-27 Shimadzu Corp Image display device
JP2002082859A (en) * 2000-06-30 2002-03-22 Seiko Epson Corp System and method for distributing information, program for executing the method by computer, and recording medium recorded with the program
JP2002225592A (en) * 2001-02-01 2002-08-14 Nissan Motor Co Ltd Data display device for vehicle
JP2003280783A (en) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd Display system and display method
JP3897249B2 (en) * 2002-08-20 2007-03-22 ソニー株式会社 Display device and method, portable information processing terminal and method, recording medium, and program
JP2004171535A (en) * 2002-10-28 2004-06-17 Fuji Xerox Co Ltd Method and device for retrieving document and program
JP3887685B2 (en) * 2003-02-28 2007-02-28 国立大学法人東京工業大学 Presentation material retrieval system, method and program thereof
JP4396262B2 (en) * 2003-12-22 2010-01-13 富士ゼロックス株式会社 Information processing apparatus, information processing method, and computer program
JP2006085440A (en) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd Information processing system, information processing method and computer program
JP2007279978A (en) * 2006-04-05 2007-10-25 Hitachi Ltd Document retrieval device and document retrieval method

Also Published As

Publication number Publication date
JP2009282937A (en) 2009-12-03

Similar Documents

Publication Publication Date Title
US9298287B2 (en) Combined activation for natural user interface systems
Henze et al. Free-hand gestures for music playback: deriving gestures with a user-centred process
KR20160080083A (en) Systems and methods for generating haptic effects based on eye tracking
US9749582B2 (en) Display apparatus and method for performing videotelephony using the same
WO2012135218A2 (en) Combined activation for natural user interface systems
US11281707B2 (en) System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information
JP2005215689A5 (en)
CN106463119B (en) Modification of visual content to support improved speech recognition
JP6432405B2 (en) Presentation support device, presentation support method, and presentation support program
JP2017016296A (en) Image display device
US11514924B2 (en) Dynamic creation and insertion of content
WO2018105373A1 (en) Information processing device, information processing method, and information processing system
Li et al. Signring: Continuous american sign language recognition using imu rings and virtual imu data
JP5244460B2 (en) Information automatic organization presentation device and information automatic organization presentation processing program
JPWO2018105373A1 (en) Information processing apparatus, information processing method, and information processing system
JP5448372B2 (en) Selective information presentation device and selective information presentation processing program
US20190035420A1 (en) Information processing device, information processing method, and program
Le et al. Multimodal smart interactive presentation system
WO2016067348A1 (en) Presentation support method, presentation support program, and presentation support device
JP2006121264A (en) Motion picture processor, processing method and program
JP6638281B2 (en) Information processing device and program
JP6372577B2 (en) Presentation support method, presentation support program, and presentation support apparatus
JP2020037155A (en) Gesture control device and gesture control program
JP2008243079A (en) Information managing device, information managing method and information management program
JP7288491B2 (en) Information processing device and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees