JP6828508B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6828508B2 JP6828508B2 JP2017034490A JP2017034490A JP6828508B2 JP 6828508 B2 JP6828508 B2 JP 6828508B2 JP 2017034490 A JP2017034490 A JP 2017034490A JP 2017034490 A JP2017034490 A JP 2017034490A JP 6828508 B2 JP6828508 B2 JP 6828508B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- annotation
- line
- voice
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 27
- 230000008859 change Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Document Processing Apparatus (AREA)
Description
本発明は、文書内の添付位置を利用者が明示的に指示することなしに注釈を生成することができる情報処理装置及び情報処理プログラムを提供することを目的としている。
請求項1の発明は、文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段を有し、前記生成手段は、視線の位置がない領域と視線の位置の滞在期間が予め定められた期間よりも短い領域に、非注目箇所であることを意味する注釈を生成する、情報処理装置である。
図1は、本実施の形態(アノテーション生成処理装置100)の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
一般的に、文書にアノテーションを添付する際、「そのアノテーションを付与する箇所の指定」と「そのアノテーション内のコメントのテキスト入力」が必要となるが、ユーザーに労力を課することになる。
アノテーション生成処理装置100は、例えば、文書を閲覧している利用者(以下、ユーザーともいう)の視線(視点を含む)を、ヘッドマウントディスプレイ等のデバイスで捕捉し、ユーザーが文書に対して喋った指摘内容を、そのときの文書の注目箇所と紐付けて、アノテーションとして保存する。
音声録音モジュール110は、マイク105、文書内注目位置・音声対応付モジュール130と接続されている。音声録音モジュール110は、音声情報をハードディスク等の記憶手段に記憶させる。その際に、音声が発生した日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)とともに記憶させるようにしてもよい。音声を注釈として記録することによって、文書に対する直感的な感想をありのままに記録できるようになる。
注目箇所捕捉モジュール120は、視線検知モジュール115、文書内注目位置・音声対応付モジュール130、非注目箇所捕捉モジュール140と接続されている。注目箇所捕捉モジュール120は、表示装置185に表示されている文書上での視線位置をハードディスク等の記憶手段に記憶させる。その際に、視線位置を日時とともに記憶させるようにしてもよい。ユーザーが注目している箇所を特定する方法については、前述の特許文献3、特許文献4等に記載された技術を利用してもよい。
また、アノテーション生成モジュール150は、視線の位置にあるオブジェクトに対して、音声を内容とする注釈を添付するようにしてもよい。ここで「オブジェクト」とは、文書の構成物であって、例えば、文字列(1字以上の文字列)、表、図形、写真等が該当する。文字列として、タイトル、章、節等を含めてもよい。また、オブジェクトは、タブ等によって構成物を区別する構造化文書を用いて抽出してもよいし、表示装置185に表示されている文書(特に、スキャナ等によって読み込まれた文書画像)の構造を認識して抽出してもよい。
そして、アノテーション生成モジュール150は、音声認識による認識結果内に予め定められた単語が含まれる場合は、その単語を変更するようにしてもよい。ここで「変更」には、削除を含む。例えば、ユーザーが発した音声から、予め定められたキーワードが含まれる部分を除外して注釈にするようにしてもよい。キーワードによって、機密度の高い情報や、不適切な内容を制限できるようになる。また、ユーザーが発した音声を、別の表現や言い回しに変換して注釈にするようにしてもよい。キーワードによって、機密度の高い情報や、不適切な内容を制限でき、注釈を用いたコミュニケーションを円滑にすることができる。
そして、アノテーション生成モジュール150は、視線の位置以外の箇所にあるオブジェクトに対して、注釈を添付するようにしてもよい。
文書記憶モジュール170は、文書表示モジュール180と接続されている。文書記憶モジュール170は、表示装置185に表示される可能性がある文書を記憶している。
文書表示モジュール180は、文書記憶モジュール170、表示装置185と接続されている。文書表示モジュール180は、文書記憶モジュール170に記憶された文書を、表示装置185に表示させるように制御する。
表示装置185は、文書表示モジュール180と接続されている。表示装置185は、文書表示モジュール180の制御にしたがって、液晶ディスプレイ等に文書を表示する。ユーザーは、液晶ディスプレイ等に表示された文書を見る。
文書出力装置200は、アノテーション記憶モジュール160、文書記憶モジュール170、文書出力モジュール210、音声出力モジュール230、スピーカー235、文書表示モジュール180、表示装置185を有している。
アノテーション記憶モジュール160は、文書出力モジュール210と接続されている。アノテーション記憶モジュール160は、アノテーション生成処理装置100のアノテーション記憶モジュール160と同等のものであり、注釈を文書に対応付けて記憶している。
文書記憶モジュール170は、文書出力モジュール210と接続されている。文書記憶モジュール170は、アノテーション生成処理装置100の文書記憶モジュール170と同等のものであり、表示装置185に表示される可能性がある文書を記憶している。
アノテーション出力モジュール220は、例えば、ユーザーの操作(例えば、文書内の注釈を選択する操作等)にしたがって、注釈の内容を出力する。
音声出力モジュール230は、文書出力モジュール210、スピーカー235と接続されている。音声出力モジュール230は、注釈内の音声を、スピーカー235に出力させるように制御する。
スピーカー235は、音声出力モジュール230と接続されている。スピーカー235は、音声出力モジュール230の制御によって音声を出力する。
表示装置185は、文書表示モジュール180と接続されている。表示装置185は、アノテーション生成処理装置100の文書表示モジュール180と同等のものであり、文書表示モジュール180の制御にしたがって、液晶ディスプレイ等に文書を表示する。ユーザーは、液晶ディスプレイ等に表示された注釈が添付された文書を見る。
アノテーション生成処理装置100A、文書出力装置200A、ユーザー端末300、文書管理装置350、文書管理装置360、ユーザー端末380は、通信回線390を介してそれぞれ接続されている。通信回線390は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、アノテーション生成処理装置100A、文書出力装置200A、文書管理装置350、文書管理装置360による機能は、クラウドサービスとして実現してもよい。
例えば、部下が作成した文書を、上司が添削するという状況で用いられる。上司の操作に応じて、アノテーション生成処理装置100Aでは、部下が作成した文書にアノテーションが添付される。部下の操作に応じて、アノテーション生成処理装置100Bでは、その文書(アノテーションが添付された文書)が表示され、上司によって添付されたアノテーションが確認される。
文書管理装置360は、アノテーション記憶モジュール160、文書記憶モジュール170を有しており、複数人のユーザーの文書、アノテーションを管理している。アノテーション生成処理装置100A、文書出力装置200A、ユーザー端末300は、文書管理装置360を利用するようにしてもよい。その場合、アノテーション生成処理装置100A、文書出力装置200A、ユーザー端末300は、アノテーション記憶モジュール160、文書記憶モジュール170を有していなくてもよい。アノテーション生成処理装置100A、文書出力装置200A、ユーザー端末300は、文書管理装置360内のアノテーション記憶モジュール160、文書記憶モジュール170を用いて、アノテーションの生成、アノテーションが添付されている文書の表示を行う。
ユーザー端末380は、マイク105、音声録音モジュール110、視線検知モジュール115、注目箇所捕捉モジュール120、文書内注目位置・音声対応付モジュール130、文書表示モジュール180、表示装置185、音声出力モジュール230、スピーカー235を有している。ユーザー端末380は、ユーザーインターフェースの機能だけを有しており、アノテーションの生成等は文書管理装置350に処理させるようにしてもよい。
ステップS402では、文書表示モジュール180は、ユーザーの操作にしたがって、文書の閲覧処理を開始する。
ステップS404では、音声録音モジュール110は、ユーザーが行った、文書のある箇所に対しての指摘や感想等のつぶやきを検知する。もちろんのことながら、ここでの「つぶやき」とは、文書を閲覧しているユーザーの音声である。例えば、ユーザーが、文書のある箇所に対して、「ここは間違っている」、「わかりづらい」等の指摘や感想をつぶやく。この音声はマイク105により入力される。
ステップS902では、ユーザーの操作にしたがって、文書の閲覧処理を開始する。
ステップS904では、ユーザーが注目した箇所を足し合わせていく。
ステップS906では、ユーザーの操作にしたがって、文書の閲覧処理を終了する。例えば、「文書を閉じる」等の操作が該当する。
なお、ステップS906までの処理において、図4の例に示したフローチャートによる処理が行われていてもよい。
画面1000には、文書表示領域1010、サムネイル文書表示領域1090を表示する。サムネイル文書表示領域1090には、サムネイル文書1092、サムネイル文書1094、サムネイル文書1096、サムネイル文書1098等を表示する。これらのサムネイル文書が選択されて、左側の文書表示領域1010に文書1020を表示する。
文書1020では、対象領域1036に対してアノテーション1030が添付されており、対象領域1046に対してアノテーション1040が添付されており、対象領域1054に対してアノテーション1050が添付されていることを示している。
アノテーション1030は、メッセージ領域1032、音声出力ボタン1034を有している。アノテーション1040は、メッセージ領域1042、音声出力ボタン1044を有している。アノテーション1050は、メッセージ領域1052を有している。
アノテーション1030、アノテーション1040は、図4の例に示すフローチャートによって生成されたアノテーションである。
アノテーション1050は、図9の例に示すフローチャートによって生成されたアノテーションである。
つまり、対象領域1036を見ているときの音声がアノテーション1030内の音声出力ボタン1034の選択によって再生され、その音声認識結果(「日付が間違っているよ」)がアノテーション1030内のメッセージ領域1032に表示されている。対象領域1046を見ているときの音声がアノテーション1040内の音声出力ボタン1044の選択によって再生され、その音声認識結果(「○○がわかりにくい。△△がいいんじゃない?」)がアノテーション1040内のメッセージ領域1042に表示されている。
そして、対象領域1054は、非注目箇所であり、それを示すアノテーション1050が添付されている。アノテーション1050内には、非注目箇所であることを示すメッセージ領域1052(「この部分は未確認です」)がある。
これによって、1つのオブジェクト(例えば、図、表、グラフ等)に対して、視線を移しながら複数のつぶやきがある場合、1つのアノテーションで時系列のつぶやきを表示することができるようになる。具体的には、図12の例を用いて説明する。
画面1200には、文書表示領域1210、サムネイル文書表示領域1290を表示する。サムネイル文書表示領域1290には、サムネイル文書1292、サムネイル文書1294、サムネイル文書1296、サムネイル文書1298を表示する。これらのサムネイル文書が選択されて、左側の文書表示領域1210に文書1220を表示する。
文書1220では、右上のグラフ(オブジェクトの一例)に対して、アノテーション1230を表示している。アノテーション1230は、メッセージ領域1232、音声出力ボタン1234を有している。
閲覧している文書1220に対してユーザーが発した音声情報と、そのとき注目していた箇所の時系列的な変化とを同期して表示している。音声出力ボタン1234がクリックされたことを検知すると、実際のつぶやきの音声を出力し、そのときに注目していた箇所(例えば、点線の楕円で囲った赤い部分である対象領域1242、対象領域1244、対象領域1246)を動的に表示する。ここで「動的に表示」とは、具体的には、音声の発声に合わせて、時系列順に表示することである。したがって、「ここがもっと○○で、」と音声出力している間は、対象領域1242と、その対象領域1242とアノテーション1230を結ぶ図形(吹き出し図形)を表示し、「ここは△△で」と音声出力している間は、対象領域1244と、その対象領域1244とアノテーション1230を結ぶ吹き出し図形を表示し、「ここは□□」と音声出力している間は、対象領域1246と、その対象領域1246とアノテーション1230を結ぶ吹き出し図形を表示する。
また、音声出力が終了した後は、対象領域1242、対象領域1244、対象領域1246を表示したままにし、それぞれの吹き出し図形内に順番を示す符号(例えば、「A」、「B」、「C」等)を表示するようにしてもよい。そして、音声認識結果内に、その順番を示す符号を含ませるようにしてもよい。例えば、かっこ内に順番を示す符号を入れて、「ここ(A)がもっと○○で、ここ(B)は△△で、ここ(C)は□□」のように表示する。音声発声の日時と視線の位置の日時を用いて、順番を示す符号、対象領域1242等の対象領域の表示順序を決定すればよい。
なお、図13に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図13に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図13に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
105…マイク
110…音声録音モジュール
115…視線検知モジュール
120…注目箇所捕捉モジュール
130…文書内注目位置・音声対応付モジュール
140…非注目箇所捕捉モジュール
150…アノテーション生成モジュール
160…アノテーション記憶モジュール
170…文書記憶モジュール
180…文書表示モジュール
185…表示装置
200…文書出力装置
210…文書出力モジュール
220…アノテーション出力モジュール
230…音声出力モジュール
235…スピーカー
300…ユーザー端末
350…文書管理装置
360…文書管理装置
380…ユーザー端末
390…通信回線
Claims (7)
- 文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、
前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段
を有し、
前記生成手段は、視線の位置がない領域と視線の位置の滞在期間が予め定められた期間よりも短い領域に、非注目箇所であることを意味する注釈を生成する、
情報処理装置。 - 前記生成手段は、前記視線の位置にあるオブジェクトに対して、前記音声を内容とする注釈を添付する、
請求項1に記載の情報処理装置。 - 前記生成手段は、前記音声の認識結果を内容として含む注釈を生成する、
請求項2に記載の情報処理装置。 - 前記生成手段は、前記認識結果内に予め定められた単語が含まれる場合は、該単語を変更する、
請求項3に記載の情報処理装置。 - 前記生成手段は、前記視線の位置の時系列的変化が判別できる注釈を生成する、
請求項1から4のいずれか1項に記載の情報処理装置。 - 前記生成手段は、前記視線の位置以外の箇所にあるオブジェクトに対して、前記注釈を添付する、
請求項1に記載の情報処理装置。 - コンピュータを、
文書を閲覧している利用者の該文書内の視線の位置と該視線の位置での音声を対応付ける対応付け手段と、
前記音声を内容とし、該音声に対応する前記視線の位置に添付する注釈を生成する生成手段
として機能させ、
前記生成手段は、視線の位置がない領域と視線の位置の滞在期間が予め定められた期間よりも短い領域に、非注目箇所であることを意味する注釈を生成する、
情報処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017034490A JP6828508B2 (ja) | 2017-02-27 | 2017-02-27 | 情報処理装置及び情報処理プログラム |
US15/688,248 US20180246569A1 (en) | 2017-02-27 | 2017-08-28 | Information processing apparatus and method and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017034490A JP6828508B2 (ja) | 2017-02-27 | 2017-02-27 | 情報処理装置及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142059A JP2018142059A (ja) | 2018-09-13 |
JP6828508B2 true JP6828508B2 (ja) | 2021-02-10 |
Family
ID=63246773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017034490A Active JP6828508B2 (ja) | 2017-02-27 | 2017-02-27 | 情報処理装置及び情報処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180246569A1 (ja) |
JP (1) | JP6828508B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11120342B2 (en) | 2015-11-10 | 2021-09-14 | Ricoh Company, Ltd. | Electronic meeting intelligence |
US10860985B2 (en) | 2016-10-11 | 2020-12-08 | Ricoh Company, Ltd. | Post-meeting processing using artificial intelligence |
US11307735B2 (en) | 2016-10-11 | 2022-04-19 | Ricoh Company, Ltd. | Creating agendas for electronic meetings using artificial intelligence |
US10956875B2 (en) | 2017-10-09 | 2021-03-23 | Ricoh Company, Ltd. | Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances |
US11062271B2 (en) | 2017-10-09 | 2021-07-13 | Ricoh Company, Ltd. | Interactive whiteboard appliances with learning capabilities |
US11030585B2 (en) | 2017-10-09 | 2021-06-08 | Ricoh Company, Ltd. | Person detection, person identification and meeting start for interactive whiteboard appliances |
EP4130941A1 (en) | 2018-05-04 | 2023-02-08 | Google LLC | Hot-word free adaptation of automated assistant function(s) |
KR20230173211A (ko) * | 2018-05-04 | 2023-12-26 | 구글 엘엘씨 | 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응 |
JP7277569B2 (ja) | 2018-05-04 | 2023-05-19 | グーグル エルエルシー | 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し |
JP7135653B2 (ja) * | 2018-09-21 | 2022-09-13 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11263384B2 (en) | 2019-03-15 | 2022-03-01 | Ricoh Company, Ltd. | Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence |
US11270060B2 (en) | 2019-03-15 | 2022-03-08 | Ricoh Company, Ltd. | Generating suggested document edits from recorded media using artificial intelligence |
US11573993B2 (en) | 2019-03-15 | 2023-02-07 | Ricoh Company, Ltd. | Generating a meeting review document that includes links to the one or more documents reviewed |
US11080466B2 (en) | 2019-03-15 | 2021-08-03 | Ricoh Company, Ltd. | Updating existing content suggestion to include suggestions from recorded media using artificial intelligence |
US11720741B2 (en) | 2019-03-15 | 2023-08-08 | Ricoh Company, Ltd. | Artificial intelligence assisted review of electronic documents |
US11392754B2 (en) | 2019-03-15 | 2022-07-19 | Ricoh Company, Ltd. | Artificial intelligence assisted review of physical documents |
JP2021005157A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
US20200412682A1 (en) * | 2019-06-25 | 2020-12-31 | International Business Machines Corporation | Feedback enabled network curation of relevant content thread |
JP7512759B2 (ja) * | 2020-08-14 | 2024-07-09 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、文書管理システムおよびプログラム |
CN112528012B (zh) * | 2020-11-27 | 2023-08-29 | 北京百度网讯科技有限公司 | 生成文档记录的方法、装置、电子设备、及存储介质 |
US20230177258A1 (en) * | 2021-12-02 | 2023-06-08 | At&T Intellectual Property I, L.P. | Shared annotation of media sub-content |
US12020704B2 (en) | 2022-01-19 | 2024-06-25 | Google Llc | Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999895A (en) * | 1995-07-24 | 1999-12-07 | Forest; Donald K. | Sound operated menu method and apparatus |
US6608615B1 (en) * | 2000-09-19 | 2003-08-19 | Intel Corporation | Passive gaze-driven browsing |
US20030033294A1 (en) * | 2001-04-13 | 2003-02-13 | Walker Jay S. | Method and apparatus for marketing supplemental information |
US20030033161A1 (en) * | 2001-04-24 | 2003-02-13 | Walker Jay S. | Method and apparatus for generating and marketing supplemental information |
JP4282343B2 (ja) * | 2003-02-27 | 2009-06-17 | 株式会社日本総合研究所 | 情報管理装置、情報管理システム、及びプログラム |
JP4380176B2 (ja) * | 2003-02-28 | 2009-12-09 | コニカミノルタホールディングス株式会社 | 医用画像処理装置及び異常陰影候補の検出結果の表示方法 |
US8232962B2 (en) * | 2004-06-21 | 2012-07-31 | Trading Technologies International, Inc. | System and method for display management based on user attention inputs |
US8117102B1 (en) * | 2004-09-27 | 2012-02-14 | Trading Technologies International, Inc. | System and method for assisted awareness |
US8443279B1 (en) * | 2004-10-13 | 2013-05-14 | Stryker Corporation | Voice-responsive annotation of video generated by an endoscopic camera |
US7396129B2 (en) * | 2004-11-22 | 2008-07-08 | Carestream Health, Inc. | Diagnostic system having gaze tracking |
US7438414B2 (en) * | 2005-07-28 | 2008-10-21 | Outland Research, Llc | Gaze discriminating electronic control apparatus, system, method and computer program product |
US20150070262A1 (en) * | 2005-09-21 | 2015-03-12 | Richard Ross Peters | Contextual annotations of a message based on user eye-tracking data |
WO2007056373A2 (en) * | 2005-11-04 | 2007-05-18 | Eyetracking, Inc. | Characterizing dynamic regions of digital media data |
US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
US9250703B2 (en) * | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
JP5064140B2 (ja) * | 2007-08-23 | 2012-10-31 | ヤフー株式会社 | ストリーミング情報の再生制御方法 |
KR101596890B1 (ko) * | 2009-07-29 | 2016-03-07 | 삼성전자주식회사 | 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법 |
JP5622377B2 (ja) * | 2009-10-27 | 2014-11-12 | 日立アロカメディカル株式会社 | 超音波診断装置 |
WO2013033842A1 (en) * | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
WO2013059647A1 (en) * | 2011-10-21 | 2013-04-25 | New York University | Reducing visual crowding, increasing attention and improving visual span |
USH2282H1 (en) * | 2011-11-23 | 2013-09-03 | The United States Of America, As Represented By The Secretary Of The Navy | Automatic eye tracking control |
AU2013201418B2 (en) * | 2012-04-23 | 2014-09-11 | The Boeing Company | Aircrew training system |
US9423870B2 (en) * | 2012-05-08 | 2016-08-23 | Google Inc. | Input determination method |
GB2504492A (en) * | 2012-07-30 | 2014-02-05 | John Haddon | Gaze detection and physical input for cursor symbol |
US10503359B2 (en) * | 2012-11-15 | 2019-12-10 | Quantum Interface, Llc | Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same |
JP5981371B2 (ja) * | 2013-03-18 | 2016-08-31 | Kddi株式会社 | 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法 |
WO2015188011A1 (en) * | 2014-06-04 | 2015-12-10 | Quantum Interface, Llc. | Dynamic environment for object and attribute display and interaction |
US9606622B1 (en) * | 2014-06-26 | 2017-03-28 | Audible, Inc. | Gaze-based modification to content presentation |
US10599214B2 (en) * | 2014-10-21 | 2020-03-24 | Tobii Ab | Systems and methods for gaze input based dismissal of information on a display |
US10037312B2 (en) * | 2015-03-24 | 2018-07-31 | Fuji Xerox Co., Ltd. | Methods and systems for gaze annotation |
US10222867B2 (en) * | 2015-05-12 | 2019-03-05 | Lenovo (Singapore) Pte. Ltd. | Continued presentation of area of focus while content loads |
US10089827B2 (en) * | 2015-12-11 | 2018-10-02 | Igt Canada Solutions Ulc | Enhanced electronic gaming machine with gaze-based popup messaging |
-
2017
- 2017-02-27 JP JP2017034490A patent/JP6828508B2/ja active Active
- 2017-08-28 US US15/688,248 patent/US20180246569A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2018142059A (ja) | 2018-09-13 |
US20180246569A1 (en) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6828508B2 (ja) | 情報処理装置及び情報処理プログラム | |
US9304657B2 (en) | Audio tagging | |
EP2973013B1 (en) | Associating metadata with images in a personal image collection | |
US10074402B2 (en) | Recording and providing for display images of events associated with power equipment | |
JP2020528705A (ja) | 認知的洞察を使用したビデオ・シーンの移動 | |
US11775796B1 (en) | System and method for generating digital content within an augmented reality environment | |
EP3055793A1 (en) | Systems and methods for adding descriptive metadata to digital content | |
CN113285868B (zh) | 任务生成方法、设备以及计算机可读介质 | |
US20190227634A1 (en) | Contextual gesture-based image searching | |
CN112513922A (zh) | 使用出版平台经由学习插页广告为书籍提供伴随增强的***和方法 | |
JP5786630B2 (ja) | 情報処理装置及び情報処理プログラム | |
US11119727B1 (en) | Digital tutorial generation system | |
RU2608873C2 (ru) | Способ связывания метаданных цифрового контента с цифровым контентом (варианты), электронное устройство (варианты), машиночитаемый носитель (варианты) | |
KR102243275B1 (ko) | 오프라인 오브젝트에 관한 콘텐츠 자동 생성 방법, 장치 및 컴퓨터 판독가능 저장 매체 | |
US11411902B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program | |
US11955025B2 (en) | Systems and methods for facilitating creating of customizable tutorials for instruments specific to a particular facility | |
JP5910222B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6759720B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN104978389A (zh) | 方法、***、服务器和客户端 | |
US20200335004A1 (en) | Systems and methods for facilitating creating of customizable tutorials for instruments specific to a particular facility | |
US11165737B2 (en) | Information processing apparatus for conversion between abbreviated name and formal name | |
US10503758B2 (en) | Information processing apparatus using hierarchical tags for streamlining the presentation of information and non-transitory computer readable medium for the same | |
JP6828287B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20140189769A1 (en) | Information management device, server, and control method | |
JP7069631B2 (ja) | 情報処理装置及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6828508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |