JP2021503682A - 関連性の検出及びレビューのためのコンテンツの対話型表現 - Google Patents
関連性の検出及びレビューのためのコンテンツの対話型表現 Download PDFInfo
- Publication number
- JP2021503682A JP2021503682A JP2020545235A JP2020545235A JP2021503682A JP 2021503682 A JP2021503682 A JP 2021503682A JP 2020545235 A JP2020545235 A JP 2020545235A JP 2020545235 A JP2020545235 A JP 2020545235A JP 2021503682 A JP2021503682 A JP 2021503682A
- Authority
- JP
- Japan
- Prior art keywords
- cloud
- content
- elements
- graphical
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012552 review Methods 0.000 title description 6
- 230000002452 interceptive effect Effects 0.000 title description 3
- 238000001514 detection method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000012800 visualization Methods 0.000 claims description 13
- 238000013518 transcription Methods 0.000 claims description 12
- 230000035897 transcription Effects 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 9
- 230000008451 emotion Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 6
- 238000003058 natural language processing Methods 0.000 claims description 6
- 238000012015 optical character recognition Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 230000036651 mood Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 5
- 230000001755 vocal effect Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 18
- 238000013519 translation Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 240000001987 Pyrus communis Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
・コンテンツ。コンテンツは、限定されないが、音声、ビデオ及びテキストベースのメディアを含む様々なマルチメディアソースを含み得る。コンテンツは、リアルタイムで使用するためにストリーミングソースによって入手可能であり得るか、又は既に使用可能であり得る。
・グラフィカルクラウド。グラフィカルクラウドは、定められ且つ選択されたクラウドフィルタに基づいて無関係の、優先度の低い、又はランクの低い要素を除去した見やすい方法で描かれた様々なクラウド要素(例えば、単語、句、アイコン、アバター、絵文字等)で構成される、コンテンツから導出される視覚化である。クラウドフィルタ及びクラウドレンズは、グラフィカルクラウド内で描かれるクラウド要素の種類、量及び密度を制御する。様々な実施形態において及び選択されるメディアの種類について、グラフィカルクラウドの変化は、時間又はシーケンスと共にユーザに表示されるコンテンツの変化を表し、その期間又はシーケンス長は、変化することができ、且つセグメント化されるか又は重複するかの何れかであり得る。
・クラウド解析。クラウド解析は、ソースコンテンツ又はソースコンテンツの変換に基づく他の導出コンテンツに適用される技法(例えば、ソース音声から自動音声認識によって抽出される単語に対して実行される解析)である。技法の例は、自然言語処理、計算言語学的解析、自動翻訳、デジタル信号処理及び他の多くのものを含む。これらの技法は、複合クラウド要素のための新たなクラウド要素、要素属性及び/又は要素アソシエーションを形成する要素、属性及び/又はアソシエーションを抽出する。
・クラウド要素。クラウド要素は、幾らかのレベルの変換又は解析によってソースコンテンツから導出され、幾つか例を挙げると、発話若しくは記述された単語若しくは句、表現された感情若しくは心情、話者若しくは行為者の意図、トーン若しくは気分、導出された意味、話者若しくは行為者の識別、アクティブジェスチャ、導出されたカラーパレット又はソースコンテンツの解析によって導出することができる他の物質的特性を表す単語、単語句、完全な文、アイコン、アバター、絵文字等のグラフィカル要素を含む。複合クラウド要素は、クラウド要素の集合であり、その集合内の従属クラウド要素をリンクする要素属性及び要素アソシエーションに基づいて構築される。
・クラウドフィルタ。クラウドフィルタは、特定の入力パラメータ及び/又はアルゴリズムで定められたヒューリスティックに基づき、消費するためにクラウド解析によってソースマテリアルから抽出される1つ又は複数のクラウド要素セットを選択するための制御をユーザに与える。クラウドフィルタの種類は、多数あり、幾つか例を挙げると、要素の頻度(指定されたクラウドレンズのビューの参照若しくはフレーム内の出現数又はコンテンツサンプル全体にわたる出現数)、単語の重み及び/又は複雑性(文字数、音節数等)、構文(文法ベース、品詞、キーワード又は用語抽出、文脈に基づく単語の意味、文の境界等)、感情(嬉しい、悲しい、怒っている等)及びダイナミックレンジ(ラウドネス又はレベルの変化)を含む。クラウドフィルタは、クラウドレンズによって定められる特定のビュー内で定められるクラウド要素に対する機能に限定されない。むしろ、クラウドフィルタの範囲は、特定のクラウドレンズのビューに対して「局所的」であり得るか、又は選択されたコンテンツから導出若しくは抽出されるクラウド要素の全てにわたって「大域的」であり得る。これは、全体的な(大域的な)コンテンツサンプル内の他の箇所で有意性を有する特定のクラウド要素をクラウドフィルタが適切に優先順位付けする(ランク付けする)ことを可能にする。
・クラウドレンズ。クラウドレンズは、コンテンツ内への制御されたビューを提供し、所与の視覚化に関するグラフィカルクラウドの表示密度及び倍率レベルに影響を与える。一部の実施形態では、グラフィカルクラウドを構築するために、固定された期間又はシーケンス長を表すコンテンツの倍率レベルをクラウドレンズが定める。クラウドレンズは、潜在的に表示可能なクラウド要素のその後の優先順位付け及びランク付けのために、検討中のある量のコンテンツを結合する。クラウドレンズは、表示に使用するメディアサンプルの期間又は量を制御する。テキストベースのコンテンツの場合、クラウドレンズは、クラウドフィルタの評価及びランク付けに使用されるテキストの量又はコンテンツのシーケンス長(例えば、単語、文、段落、章等の数)を制御する。
・要素属性。クラウド要素は、追加の属性を割り当てられる場合がある。例えば、音声サンプルの文字起こしは、単語要素の組をもたらし、単語によって異なる文脈において異なる意味及び追加の属性を有し得るため、その特定の文脈におけるその特定の単語について、それらの単語のそれぞれに適切な品詞(例えば、名詞、代名詞、固有名詞、形容詞、動詞、副詞等)を割り当てることができる。一連の単語又は期間にわたる音声の振幅変動を明らかにするために、音声コンテンツ又はビデオコンテンツに対してデジタル信号処理解析を実行し、それらのクラウド要素の属性を定めることができる。
・要素アソシエーション。クラウド要素は、他のクラウド要素とのアソシエーションを有し得る。例は、形容詞の属性を有する単語要素と、名詞の属性を有するその関連単語要素とを含む。別の例は、関連する単語、単語句又は文(例えば、質問)を参照し得る感情的な要素の属性(「好奇心」)を含む。
・視覚的雑音。視覚的雑音は、特定の任意のコンテンツソースについて比較的小さいパーセンテージの導出クラウド要素(例えば、単語、アイコン等)のみが所与のユーザの視覚的対話にとって有益であることを指す。例えば、150〜230語/分(wpm)の通常の発声速度での1時間の音声コンテンツ又はビデオコンテンツは、そのメディアサンプルに関して9,000語〜14,000語に相当し、そのサンプルからの重要な(ランクの高い)単語又はキーワードの数は、全体のごく一部に過ぎない。その同じコンテンツサンプルから追加で抽出されるクラウド要素(例えば、話者、話者の変更、ジェスチャ、感情等)により、潜在的に冗長、無関係又は誤った、従って有用でないグラフィカル要素の数が甚大になり得る。
システムの流れ図である図1に示すように、システム100は、主要なサブシステムで構成される。ソースコンテンツ101がクラウド解析102に送られ、クラウド解析102で入力コンテンツに対して変換解析が行われ、完全なクラウド要素の組、それらの要素属性及び他のクラウド要素に対するそれらの要素アソシエーションをもたらす。更に、クラウド要素並びに任意の要素属性及び要素アソシエーションに基づいて複合クラウド要素が構築される。
・ソースコンテンツ101がクラウド解析モジュール102に与えられ、クラウド解析モジュール102は、必要に応じてコンテンツをテキスト(例えば、自動音声認識技術によって単語、句及び文)に変換することができ、コンテンツを目標言語(例えば、言語翻訳技術によって単語、句及び文)に変換することができるか、又はソースコンテンツから多様なメタデータ(例えば、品詞、話者の変更、ピッチの増加等)を抽出することができる。
・クラウド解析モジュールによってもたらされる単語及び他のメタデータは、クラウド要素、要素属性又は要素アソシエーションを定める。クラウド解析モジュールは、ソースコンテンツをその後の解析及び処理のための基本単位に抽出及び変換する前置フィルタと見なすことができる。
・クラウド解析モジュール102の出力がクラウドレンズ105に与えられ、クラウドレンズ105は、最終的なグラフィカルな視覚化のために検討中のクラウド要素のサブセットを決定する。クラウドレンズによって定められる時間窓又はセグメント内のクラウド要素のみがグラフィカルクラウド内で表示できる。更に、局所的なレンズビューの端により近いクラウド要素と比較してクラウドレンズの中心にあるクラウド要素により大きい重みを加えるために、クラウド要素に集中重みを適用することができる。各クラウド要素の集中重みは、クラウドフィルタによって決定される最終的な要素の重み又はランク付けに寄与する。
・クラウド解析に組み込まれ、手作業の又は人間によって生成される文字起こしを自動音声認識(ASR)によって向上させて、それらの人間によって生成されるソリューションのための非常に正確なタイミングをもたらし、それにより、その後の変換及び解析のために任意の種類の文字起こしをメディアに対して正確に同期させて、対話型グラフィカルクラウドを構築することを保証することができる。
・関連する集中重み及び他のメタデータ(例えば、品詞の属性等)を有するクラウド要素がクラウドフィルタ104に与えられ、クラウドフィルタ104は、各クラウド要素のランク又は重みを評価し確立するための規則を適用する。クラウドフィルタは、複合クラウド要素をどのようなものが構成するかを要素属性及び要素アソシエーションに基づいて更に決定し、複合クラウド要素にランクも割り当てる。クラウドフィルタの出力は、複合クラウド要素を含むクラウド要素のランク付きの、従って順序付きの一覧であり、その全ては、グラフィカルクラウドの視覚化を構築するために要素表示103に与えられる。
・クラウドレンズ105は、クラウドフィルタ104による解析及びランク付けのためのクラウド要素のサブセットを指定するが、セグメント又は時間窓内のクラウド要素のランク付けを更に調整するために、クラウドフィルタも、入力ソースコンテンツからのクラウド要素の完全な組へのアクセスを維持する。全てのクラウド要素のこの大域的文脈は、クラウドフィルタが特定のランクを決定するとき、特定のクラウド要素の出現頻度を評価することを可能にする。例えば、特定の単語が所与のクラウドレンズセグメント内で1度のみ出現するが、メディアサンプルの全体にわたる出現頻度が高い場合、その特定の単語クラウド要素に適用される相対的な重みは、局所的文脈のみを検討する場合よりも重くなる。
・グラフィカルクラウド103は、クラウドレンズ105によって限定される複合クラウド要素を含むクラウド要素のサブセットで構成され、この集合内の最も高いランクを有する要素が視覚的に更に強調される。
・グラフィカルクラウド103は、視覚的コンポーネントの許容可能な密度、英語では左から右且つ上から下である読む方向を定める基礎をなす言語規則を定めるクラウドレンズ105のビューを考慮に入れる。例えば、クラウドレンズのビュー内で局所的に又は全コンテンツサンプルにわたって大域的にコンテンツに関連すると判定される単語は、(テキストでは)より鮮明且つ大きいフォント又はより大きいグラフィカル要素(例えば、アイコン、アバター、絵文字等)で表示することができる。
・コンテンツは、グラフィカルクラウド103の各要素が、詳細なレビューのために、音声及びビデオの場合には同期された再生のために特定のコンテンツ又はメディアの位置に結び付けられるように同期される。多様な時間順の及びセグメント化されたグラフィカルクラウド内で索引付けするために、ユーザは、音声波形、ビデオ再生プログレスバー又はテキストベースのコンテンツにアクセスすることができるため、同期は、双方向に機能する。ユーザは、グラフィカルクラウド要素にアクセスして、音声及びビデオコンテンツではメディアの再生を開始するか、又はテキストベースのコンテンツ内に適切に索引付けすることもできる。
以下は、変換プロセスの部分的な一覧であり、多様なコンテンツソースに解析技法を適用して、その要素属性及び要素アソシエーションを含む、人を引き付けるクラウド要素をもたらすことができる。
・自動音声認識(ASR)
・言語翻訳
・自然言語処理(NLP)
・自然言語理解
・計算言語学(CL)
・認知神経科学
・認知計算
・人工知能(AI)
・デジタル信号処理(DSP)
・画像処理
・パターン認識
・光学式文字認識(OCR)
・光学式単語認識
クラウドレンズは、メディア内への特定のビューを提供し、全ソースコンテンツ内への特定の倍率レベルを定める。クラウドレンズを完全に広げることは、全コンテンツサンプルのためのグラフィカルクラウド(例えば、全90分間のビデオに対する単一のグラフィカルクラウド)をユーザが見ることを可能にする。クラウドレンズによる拡大は、ある一部分若しくはセグメントのみ又は全コンテンツサンプルを表すグラフィカルクラウドをユーザが見ることを可能にする。これらのセグメントは、任意のサイズのものであり得る。更なるセグメントは、あるセグメントの終わりが次のセグメントの始まりであることを含意する連続であり得る。又は、セグメントは、アクティブ表示されるグラフィカルクラウド内で描かれるクラウド要素の増分的に変化する組に基づく、結果として生じるグラフィカルクラウドのほぼ連続的な変換を可能にする重複であり得る。
グラフィカルクラウド及びクラウドフィルタ内で使用される要素ランキングアルゴリズムを構築するための重大な検討事項は、人間の目が、単一の注視で限られた数の単語を見ることができることであり、一部の研究は、殆どの人にとってこの注視プロセスの上限が典型的には3語であることを示しているが、この上限は、人の視野範囲及び語彙に基づいて異なる。従って、重要な単語句の長さを制限しておくこと、及び特定のクラウドフィルタの設計内でランクが十分高くなるとき、単語の対(要素の対)及び単語の三つ組(要素の三つ組)をグラフィカルクラウド内で表示できるようにする要素属性及びアソシエーションを保つか又は策定するための利点がある。クラウドレンズによって定められる一部のビューでは、クラウドフィルタは、隔離されたクラウド要素のみを表示する。しかし、クラウドレンズがビューを十分に広げる場合、クラウドフィルタによってランク付けされる複合クラウド要素を含めることで理解及び有用性に対するかなり良い影響がある。
代表的なクラウドフィルタは、多様な解析から導出される様々なパラメータを追跡することを含む。クラウドフィルタの一例は、テキストベースのコンテンツ又は他のコンテンツソースから導出されるテキストでは、単語の複雑性及び頻度を明らかにすること、及び文法に基づく一次解析を含む。これらのプロセスのそれぞれから、グラフィカルクラウド内の各要素に要素ランクが与えられる。コンテンツから抽出されるより関連性のある要素を強調表示するユーザ表示がそのランクから構築される。
・英語向けを含めてテキストを解析して、品詞:名詞、動詞、冠詞、形容詞、前置詞、代名詞、副詞、接続詞及び感嘆詞を明らかにする。広範囲にわたる言語作業は、更に多くの別個の品詞をもたらす。この解析は、他の言語でも異なり、そのため、言語に固有の品詞決定が一種のクラウドフィルタに関連する。
・品詞に基づいて各単語に要素ランク因子を加える。例えば、英語では名詞が各文の中心であることが多く、そのため、他の品詞の要素ランクと比較した場合、要素ランクの増分的な増加が適用される。この品詞のランクは、クラウド解析の出力に基づいて定められる特定の単語の属性になる。
・品詞のランクは、発話の部分ごとに異なり、優先順位付けされる。英語では、以下は、高から低へのある優先順位付けした順位である:固有名詞、名詞、動詞、形容詞、副詞、その他。これらの属性は、クラウド解析中に定められ、クラウドフィルタによる要素のランク付けに利用される。
・同様に、品詞は、オブジェクトを増強する属性を提供することができ、他の品詞は、行われている行為、別の属性又は更に他の品詞を増強する属性を提供することができる。英語では、これらは、副詞であり、副詞は、形容詞、動詞、他の副詞又は他の語群を修飾する。これらの「副詞」の品詞との間のアソシエーションを決定することは、複合クラウド要素及びその視覚化を構築する際に有用であり得る。
・グラフィカルクラウド内のクラウド要素ごとに既に決定されている頻度及び複雑性のランクに属性ランク因子を適用する。
・クラウドレンズに基づき、コンテンツ内へのアクティブウィンドウを決定し、表示されるクラウド要素の密度を決定する。クラウドフィルタに基づき、要素のランキング及び導出されるコンポーネントのクラウド要素を決定し、視覚的グラフィカルクラウドを構築する。
・ランクの高いクラウド要素に関する主要な要素アソシエーションに基づき、アソシエートされた要素の要素ランキングが所与の表示について十分高くない場合にも、そのアソシエートされた要素を表示することができる。
・表示されるクラウド要素の高度な視覚的理解を支援するために、表示される単語、単語の対、単語の三つ組及び他の任意の単語句という要素の種類を含む、それらの要素のグラフィカルな加重を実施する。例えば、参照先の名詞及び動詞用のより鮮明な色及びより大きいフォントのスキームと比較し、形容詞及び副詞には落ち着いた色及びより小さいフォントを使用する。最も顕著なクラウド要素に基づく要素ランキングは、最も大きく、最も鮮明で、最も目立つグラフィカルスキームで表示する。
・優先順位が高い単語要素のための更なる視覚的強化は、他の信号処理メトリクスを反映させるために増加するフォントサイズ又は減少するフォントサイズを特定の単語内で有することである。例えば、増加するピッチ又は減少するピッチは、特定の単語又は句中のフォントサイズの変化を決定することができる。
John Williamsは、自分の非常に多い仕事量により作業を完了することができなかった。
グラフィカルクラウド103は、ユーザが選択するコンテンツの所与の期間又はシーケンスにわたって構築される。図2は、サンプルコンテンツから導出されたグラフィカルクラウド表現の変換及びグラフィカル表示103を示す。結果として生じるこの例のグラフィカルクラウドは、クラウドフィルタによって定められる、単語、句、アイコン、選択ペルソナ又はアバター、感情状態(絵文字)であるクラウド要素並びに個々のクラウド要素を複合クラウド要素(例えば、単語の対、単語の三つ組等)に結合する要素属性及び要素アソシエーション並びにクラウド要素を適切にランク付けするためのクラウド属性(例えば、固有名詞)を示す。
“John Williams could not complete the task because of his tremendously heavy workload.
This is another example of the unique challenges for entry−level employees,leading to low job satisfaction.
His supervisor,Lauren Banks,provides guidance,yet her workload is extreme too.
Management needs to review work assignments given overall stress levels!”
言語翻訳ソリューションをソースコンテンツに、ソース音声コンテンツ若しくはソースビデオコンテンツに適用される自動音声認識システムの出力又は入力音声コンテンツ若しくは入力ビデオコンテンツの入力をソースとする文字起こしに適用することができる。次いで、複合クラウド要素内の適切な語順を決定するために自然言語処理を使用することを含め、言語翻訳ソリューションの出力を他のクラウド解析モジュールに適用する。このプロセスの出力を図3に示し、図3は、適切なスペイン語の翻訳及び語順と共に言語翻訳の応用を強調するグラフィカルクラウド表示103を示す。
“John Williams no pudo completar la tarea debido a su carga de trabajo tremendamente pesada.
Este es otro ejemplo de los desafios unicos para los empleados de nivel inicial,que conduce a una baja satisfaccion en el trabajo.
Su supervisora,Lauren Banks,proporciona orientacion,pero su carga de trabajo es extrema tambien iLa gerencia necesita revisar las asignaciones de trabajo dados los niveles generales de estres!”
代替的実施形態は、処理される応用又はコンテンツに関連するキーワードの一覧を予め設定するか又は提供する能力を含み得る。例えば、講師がその講義のキーワード又は教育上の用語のキーワードを提供することができ、それらのキーワードは、関連するグラフィカルクラウドを変換及び作成する際に使用される各ビデオを処理するために提供され得る。更なる例は、様々な異なる応用(例えば、セキュリティモニタの応用)のためにコンテンツをモニタするリアルタイムストリーミングの応用を含み得る。このストリーミングの例における固有の応用ごとに、その応用の「トリガ」ワードが異なり得、クラウドフィルタの要素ランキング並びにその後の及び結果として生じるリアルタイムグラフィカルクラウドを修正するためにシステムに提供することができる。加えて、コンテンツの消費者は、自らのアカウントプロファイルの一部として関連するキーワード又は重要なキーワードの一覧を保ち、それによりグラフィカルクラウドを生成するためのキーワードコンテンツの自動調節を可能にすることができる。
クラウド解析と共に開示する技法には、感情、ジェスチャ、音声マーカ等を含む、人を引き付ける及び関心を引くクラウド要素を生成する潜在性がある。ユーザによって供給されるキーワードの概念の拡張は、自らの視覚化の需要及びエクスペリエンス(経験)に関連するソースコンテンツ内の要素をユーザが指示することを可能にする概念である。例えば、場合により参加者間の興味をそそる対話を示す、音声サンプル内の音声レベルが大きく変わった領域を求めてグラフィカルクラウドを走査することである。
図4は、クラウド要素及び関連するクラウド要素の集合であるクラウド要素(400a〜400j)で構成され、複合クラウド要素(400b及び400f)を含む代表的なグラフィカルクラウドを示す。各クラウド要素は、ソースメディアコンテンツ(例えば、音声、ビデオ、テキスト等)に対して行われる多様な解析に基づき、1つ〜多数の要素属性及び1つ〜多数の要素アソシエーションを有することができる。図示のように、要素属性及び要素アソシエーションは、複合クラウド要素の形成を支援する。
図5は、ビデオ表示の実施形態に関する主要コンポーネントのそれぞれを有する視覚化(グラフィカルクラウド103)の一例を示す。ビデオペイン500は、ビデオコンテンツ(例えば、YouTube又はVimeo videos)を表示するためにウェブブラウザ内で使用される種類のものであるビデオプレーヤ501を含む。このビデオペイン500内では、時間が左から右に進む。この実施形態では、ビデオが再生されるとき、ビデオコンテンツ内で表示されている内容に関連し且つ同期し続けるようにグラフィカルクラウド103の視覚化がスクロールする。
図6は、モバイルビデオのビューに適した種類のグラフィカルクラウド103の一例を示す。ディスプレイの一番上にビデオプレーヤ501が示されており、その下に位置マーカ及び注釈タブのセクションが示されている。ビューの下部は、グラフィカルクラウドであり、破線の長方形502内に示す構築されたグラフィカルクラウドの対応する時間を表示する。
図7は、グラフィカルクラウド表示103の実装形態の一例を示し、グラフィカルクラウドが1つ又は複数の音声波形700の上に表示されている。モバイルビデオのビュー及びウェブビデオのビューと同様に、所与のグラフィカルクラウドを表示する期間を示すために破線の長方形表示502を波形上に示す。
グラフィカルクラウドは、ユーザが自身のエクスペリエンスをどのように構成することに決めたかに基づき、コンテンツの何らかの期間(窓)又は選択シーケンスにわたって生成される。ユーザがメディアコンテンツをスクロールするとき、個々の特定のグラフィカルクラウドを構築する複数の方法がある。図8は、シーケンシャル及び重複という2つのかかる時間セグメントの定義を示す。所与のセグメント又は窓の持続時間は、ユーザが(クラウドレンズによって)選択した倍率又は「ズーム」レベルによって定められる。例えば、ユーザは、セグメント化されたグラフィカルクラウドごとに5分間又は8分間の音声を見ることにすることができる。その特定の5分間又は8分間のセグメントについて構築されるグラフィカルクラウドは、要素ランキングアルゴリズムに基づくその期間の文字起こしを表す。
Claims (21)
- コンテンツソースから関連情報を抽出及び表示するための方法であって、
リアルタイムストリーム又は事前記録されたストアの少なくとも1つからコンテンツを取得すること、
セグメントの持続時間又は長さの少なくとも1つを定めるクラウドレンズを指定すること、ここで前記セグメントは、時間順又はシーケンス順のクラウド要素の全ての少なくとも1つ又はその総数の少なくとも1つのサブセットを含み、
少なくとも1つのクラウドフィルタを適用して、所与のセグメントに関連する各クラウド要素の有意性のレベルをランク付けすること、
選択された所定のクラウド要素密度に基づいて、所与のセグメントのグラフィカルクラウドに使用されるクラウド要素の数を定めること、
フィルタリングされたクラウド要素で構成される前記コンテンツから導出される視覚化を含む少なくとも1つのグラフィカルクラウドを構築すること、及び
セグメントを通して前記クラウドレンズをスクロールして、有意なクラウド要素の前記グラフィカルクラウドを表示すること
を含む方法。 - クラウド要素は、変換又は解析の少なくとも1つを通してソースコンテンツから導出され、且つ発話若しくは記述の少なくとも1つの単語若しくは句、表現された感情、話者の意図、話者のトーン、話者の語尾変化、話者の気分、話者の変更、話者の識別、オブジェクトの識別、導出された意味、アクティブジェスチャ、導出されたカラーパレットを表す単語、単語句、完全な文、アイコン、アバター、絵文字を含むグラフィカル要素又は前記ソースコンテンツ若しくは変換コンテンツの変換及び解析を通して導出され得る他の物質的特性の少なくとも1つを含む、請求項1に記載の方法。
- スクロールは、セグメントを通して実行され、セグメントは、連続するか又は重複するかの何れかであるクラウド要素の群によって定められる、請求項1に記載の方法。
- クラウドフィルタは、前記指定されたクラウドレンズセグメント内の出現数、コンテンツサンプル全体にわたる前記出現数を含むクラウド要素の頻度、単語の重み、文字数、音節数等を含む複雑性、文法ベース、品詞、キーワード、用語抽出、文脈に基づく単語の意味、文の境界を含む構文、感情又はラウドネス若しくはレベルの変化を含む音声若しくはビデオの振幅の変化の少なくとも1つを含む、請求項1に記載の方法。
- 前記コンテンツは、音声、ビデオ又はテキストの少なくとも1つを含む、請求項1に記載の方法。
- 前記コンテンツは、テキスト、音声及びビデオの少なくとも1つであり、及び前記音声/ビデオは、文字起こし、自動文字起こし又は両方の組み合わせの少なくとも1つを使用してテキストに変換される、請求項5に記載の方法。
- 変換及び解析は、クラウド要素の要素属性又は要素アソシエーションの少なくとも1つを決定し、前記要素属性又は要素アソシエーションは、品詞タグランクを含むクラウド要素の前記クラウドフィルタのランク付けを支援するか、又は存在する場合には複数の従属クラウド要素を単一の複合クラウド要素に結合するための基礎を形成することができる、請求項1に記載の方法。
- テキストクラウド要素は、英語について、名詞、固有名詞、形容詞、動詞、副詞、代名詞、前置詞、接続詞、感嘆詞又は冠詞を含む品詞タグを含む要素属性の少なくとも1つを含む、請求項7に記載の方法。
- テキストクラウド要素は、名詞、形容詞又は副詞を含む品詞属性の少なくとも1つに基づく要素アソシエーション及び代名詞、名詞又は形容詞を含む対応する属性を有するその関連する単語クラウド要素の少なくとも1つを含む、請求項7に記載の方法。
- 文法に基づくコンポーネントを抽出するための構文解析が、名詞、動詞、形容詞等を含む少なくとも1つの品詞を含む変換出力テキスト、文コンポーネントの構文解析及び文の分割に適用され、構文解析は、品詞に基づく前記アソシエーションを含む間接参照を追跡することを含み、それにより要素属性及び要素アソシエーションを定める、請求項7に記載の方法。
- 固有名称の認識、対応するテキストを決定するための光学式文字認識(OCR)の適用又は関係抽出を含む単語間のアソシエーションの少なくとも1つを含む、個々の単語の意味を抽出するための意味解析が適用され、それにより要素属性及び要素アソシエーションを定める、請求項7に記載の方法。
- デジタル信号処理が、(音声及びビデオについて)発話レベル及び発話レベル範囲を含む信号振幅、ダイナミックレンジ、視覚的ジェスチャ(ビデオ)、話者の識別(音声及びビデオ)、話者の変更(音声及びビデオ)、話者のトーン、話者の語尾変化、人物の識別(音声及びビデオ)、カラースキーム(ビデオ)、ピッチ変動(音声及びビデオ)及び発話速度(音声及びビデオ)の少なくとも1つを含むメトリクスをもたらすために適用される、請求項6に記載の方法。
- 感情解析が、感情状態を推定するために適用される、請求項6に記載の方法。
- 前記クラウドフィルタは、
コンテンツ変換及び自然言語処理解析からの結果、最高から最低まで優先順位付けされた品詞要素属性:固有名詞、名詞、動詞、形容詞、副詞等に基づき、各クラウド要素に割り当てられる要素ランク因子を決定すること、
前記グラフィカルクラウド内の各単語要素について既に決定されている前記クラウド要素の有意性ランクに前記要素ランク因子を適用すること
を含む、請求項7に記載の方法。 - 単語、単語の対、単語の三つ組及び他の単語句を含むクラウド要素のグラフィカル加重を実施することを更に含み、ランクのより低い要素には落ち着いた色及びより小さいフォントが使用され、ランクのより高い要素にはより鮮明な色及びより大きいフォントのスキームが使用され、最も顕著なクラウド要素に基づく要素ランキングは、最も大きく、最も鮮明で、最も目立つグラフィカルスキームで表示される、請求項7に記載の方法。
- 前記クラウドレンズが前記コンテンツを通してスクロールされるとき、前記表示されるセグメントは、1つのセグメントの終わりが次のセグメントの始まりである連続又はアクティブグラフィカルクラウド内で描かれるクラウド要素の増分的に変化する組に基づく、前記結果として生じるグラフィカルクラウドのほぼ連続的な変換を提供する重複の少なくとも1つである、請求項1に記載の方法。
- 前記クラウドレンズによって定められるセグメント長を前記クラウドフィルタのランク付け基準と組み合わせて、表示されるセグメント内のクラウド要素の前記密度を定めることを更に含む、請求項1に記載の方法。
- 前記クラウドフィルタは、所定のキーワードに最も高いランキングを割り当てることを含む、請求項7に記載の方法。
- 所定の視覚的処理が、キーワードの表示に適用される、請求項18に記載の方法。
- 前記グラフィカルクラウド内に表示される各要素は、前記コンテンツと同期され、それにより、表示される要素を選択することは、前記選択された要素を含む前記コンテンツの再生又は表示を引き起こす、請求項1に記載の方法。
- 前記方法の前記クラウドフィルタ部分は、
自動音声認識(ASR)信頼性スコア並びに/又は音声及びビデオベースのコンテンツのための他のASRメトリクスを含むコンテンツ変換からの結果に基づき、各クラウド要素に割り当てられる要素ランク因子を決定すること、
前記グラフィカルクラウド内の各単語要素について既に決定されている前記クラウド要素の有意性ランクに前記要素ランク因子を適用すること
を含む、請求項7に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762588336P | 2017-11-18 | 2017-11-18 | |
US62/588,336 | 2017-11-18 | ||
PCT/US2018/061096 WO2019099549A1 (en) | 2017-11-18 | 2018-11-14 | Interactive representation of content for relevance detection and review |
US16/191,151 | 2018-11-14 | ||
US16/191,151 US20190156826A1 (en) | 2017-11-18 | 2018-11-14 | Interactive representation of content for relevance detection and review |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021503682A true JP2021503682A (ja) | 2021-02-12 |
JP6956337B2 JP6956337B2 (ja) | 2021-11-02 |
Family
ID=66532520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545235A Active JP6956337B2 (ja) | 2017-11-18 | 2018-11-14 | 関連性の検出及びレビューのためのコンテンツの対話型表現 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190156826A1 (ja) |
EP (1) | EP3710954A1 (ja) |
JP (1) | JP6956337B2 (ja) |
CN (1) | CN111615696B (ja) |
WO (1) | WO2019099549A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220117545A (ko) * | 2021-02-17 | 2022-08-24 | 연세대학교 산학협력단 | 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222076B2 (en) * | 2017-05-31 | 2022-01-11 | Microsoft Technology Licensing, Llc | Data set state visualization comparison lock |
US10581945B2 (en) * | 2017-08-28 | 2020-03-03 | Banjo, Inc. | Detecting an event from signal data |
US11025693B2 (en) | 2017-08-28 | 2021-06-01 | Banjo, Inc. | Event detection from signal data removing private information |
US10313413B2 (en) | 2017-08-28 | 2019-06-04 | Banjo, Inc. | Detecting events from ingested communication signals |
US10671808B2 (en) * | 2017-11-06 | 2020-06-02 | International Business Machines Corporation | Pronoun mapping for sub-context rendering |
US11270071B2 (en) * | 2017-12-28 | 2022-03-08 | Comcast Cable Communications, Llc | Language-based content recommendations using closed captions |
US10585724B2 (en) | 2018-04-13 | 2020-03-10 | Banjo, Inc. | Notifying entities of relevant events |
US11423796B2 (en) * | 2018-04-04 | 2022-08-23 | Shailaja Jayashankar | Interactive feedback based evaluation using multiple word cloud |
KR102608953B1 (ko) * | 2018-09-06 | 2023-12-04 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
KR102657519B1 (ko) | 2019-02-08 | 2024-04-15 | 삼성전자주식회사 | 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법 |
US11176332B2 (en) * | 2019-08-08 | 2021-11-16 | International Business Machines Corporation | Linking contextual information to text in time dependent media |
KR102598496B1 (ko) * | 2020-02-28 | 2023-11-03 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이모티콘 패키지 생성 방법, 장치, 설비 및 매체 |
CN113742501A (zh) * | 2021-08-31 | 2021-12-03 | 北京百度网讯科技有限公司 | 一种信息提取方法、装置、设备、及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004199696A (ja) * | 2002-12-17 | 2004-07-15 | Ricoh Co Ltd | 複数のマルチメディア文書に格納された情報の表示法 |
US20090306981A1 (en) * | 2008-04-23 | 2009-12-10 | Mark Cromack | Systems and methods for conversation enhancement |
US20120179465A1 (en) * | 2011-01-10 | 2012-07-12 | International Business Machines Corporation | Real time generation of audio content summaries |
US20140229159A1 (en) * | 2013-02-11 | 2014-08-14 | Appsense Limited | Document summarization using noun and sentence ranking |
US20140278408A1 (en) * | 2013-03-15 | 2014-09-18 | Lg Electronics Inc. | Mobile terminal and method of controlling the mobile terminal |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080152237A1 (en) * | 2006-12-21 | 2008-06-26 | Sinha Vibha S | Data Visualization Device and Method |
US20080231644A1 (en) * | 2007-03-20 | 2008-09-25 | Ronny Lempel | Method and system for navigation of text |
EP2136301A1 (en) * | 2008-06-20 | 2009-12-23 | NTT DoCoMo, Inc. | Method and apparatus for visualising a tag cloud |
US20100070860A1 (en) * | 2008-09-15 | 2010-03-18 | International Business Machines Corporation | Animated cloud tags derived from deep tagging |
US9111582B2 (en) * | 2009-08-03 | 2015-08-18 | Adobe Systems Incorporated | Methods and systems for previewing content with a dynamic tag cloud |
US8958685B2 (en) * | 2009-08-17 | 2015-02-17 | Avaya Inc. | Word cloud audio navigation |
US9262520B2 (en) * | 2009-11-10 | 2016-02-16 | Primal Fusion Inc. | System, method and computer program for creating and manipulating data structures using an interactive graphical interface |
US8996451B2 (en) * | 2010-03-23 | 2015-03-31 | Nokia Corporation | Method and apparatus for determining an analysis chronicle |
US8892554B2 (en) * | 2011-05-23 | 2014-11-18 | International Business Machines Corporation | Automatic word-cloud generation |
CA2747153A1 (en) * | 2011-07-19 | 2013-01-19 | Suleman Kaheer | Natural language processing dialog system for obtaining goods, services or information |
US9064009B2 (en) * | 2012-03-28 | 2015-06-23 | Hewlett-Packard Development Company, L.P. | Attribute cloud |
US20130297600A1 (en) * | 2012-05-04 | 2013-11-07 | Thierry Charles Hubert | Method and system for chronological tag correlation and animation |
US20130332450A1 (en) * | 2012-06-11 | 2013-12-12 | International Business Machines Corporation | System and Method for Automatically Detecting and Interactively Displaying Information About Entities, Activities, and Events from Multiple-Modality Natural Language Sources |
US9195635B2 (en) * | 2012-07-13 | 2015-11-24 | International Business Machines Corporation | Temporal topic segmentation and keyword selection for text visualization |
KR20140059591A (ko) * | 2012-11-08 | 2014-05-16 | 한국전자통신연구원 | 소셜 미디어 기반 콘텐츠 추천 장치 및 방법 |
US9990380B2 (en) * | 2013-03-15 | 2018-06-05 | Locus Lp | Proximity search and navigation for functional information systems |
US9727371B2 (en) * | 2013-11-22 | 2017-08-08 | Decooda International, Inc. | Emotion processing systems and methods |
US9753998B2 (en) * | 2014-04-15 | 2017-09-05 | International Business Machines Corporation | Presenting a trusted tag cloud |
US9672865B2 (en) * | 2014-05-30 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for temporal visualization of media asset content |
US10606876B2 (en) * | 2014-06-06 | 2020-03-31 | Ent. Services Development Corporation Lp | Topic recommendation |
US10719939B2 (en) * | 2014-10-31 | 2020-07-21 | Fyusion, Inc. | Real-time mobile device capture and generation of AR/VR content |
US9582496B2 (en) * | 2014-11-03 | 2017-02-28 | International Business Machines Corporation | Facilitating a meeting using graphical text analysis |
EP3254453B1 (en) * | 2015-02-03 | 2019-05-08 | Dolby Laboratories Licensing Corporation | Conference segmentation based on conversational dynamics |
US10133793B2 (en) * | 2015-03-11 | 2018-11-20 | Sap Se | Tag cloud visualization and/or filter for large data volumes |
PH12016000208A1 (en) * | 2015-06-29 | 2017-12-18 | Accenture Global Services Ltd | Method and system for parsing and aggregating unstructured data objects |
US10140646B2 (en) * | 2015-09-04 | 2018-11-27 | Walmart Apollo, Llc | System and method for analyzing features in product reviews and displaying the results |
US20170076319A1 (en) * | 2015-09-15 | 2017-03-16 | Caroline BALLARD | Method and System for Informing Content with Data |
US20170083620A1 (en) * | 2015-09-18 | 2017-03-23 | Sap Se | Techniques for Exploring Media Content |
US10621977B2 (en) * | 2015-10-30 | 2020-04-14 | Mcafee, Llc | Trusted speech transcription |
US10242094B2 (en) * | 2016-03-18 | 2019-03-26 | International Business Machines Corporation | Generating word clouds |
US20170371496A1 (en) * | 2016-06-22 | 2017-12-28 | Fuji Xerox Co., Ltd. | Rapidly skimmable presentations of web meeting recordings |
-
2018
- 2018-11-14 CN CN201880086990.1A patent/CN111615696B/zh active Active
- 2018-11-14 EP EP18815870.3A patent/EP3710954A1/en active Pending
- 2018-11-14 JP JP2020545235A patent/JP6956337B2/ja active Active
- 2018-11-14 WO PCT/US2018/061096 patent/WO2019099549A1/en active Application Filing
- 2018-11-14 US US16/191,151 patent/US20190156826A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004199696A (ja) * | 2002-12-17 | 2004-07-15 | Ricoh Co Ltd | 複数のマルチメディア文書に格納された情報の表示法 |
US20090306981A1 (en) * | 2008-04-23 | 2009-12-10 | Mark Cromack | Systems and methods for conversation enhancement |
US20120179465A1 (en) * | 2011-01-10 | 2012-07-12 | International Business Machines Corporation | Real time generation of audio content summaries |
US20140229159A1 (en) * | 2013-02-11 | 2014-08-14 | Appsense Limited | Document summarization using noun and sentence ranking |
US20140278408A1 (en) * | 2013-03-15 | 2014-09-18 | Lg Electronics Inc. | Mobile terminal and method of controlling the mobile terminal |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220117545A (ko) * | 2021-02-17 | 2022-08-24 | 연세대학교 산학협력단 | 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 |
KR102560276B1 (ko) * | 2021-02-17 | 2023-07-26 | 연세대학교 산학협력단 | 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20190156826A1 (en) | 2019-05-23 |
WO2019099549A1 (en) | 2019-05-23 |
CN111615696B (zh) | 2024-07-02 |
EP3710954A1 (en) | 2020-09-23 |
CN111615696A (zh) | 2020-09-01 |
JP6956337B2 (ja) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6956337B2 (ja) | 関連性の検出及びレビューのためのコンテンツの対話型表現 | |
US9548052B2 (en) | Ebook interaction using speech recognition | |
Pavel et al. | Sceneskim: Searching and browsing movies using synchronized captions, scripts and plot summaries | |
JP5026452B2 (ja) | テキストプロセッサ | |
US20200151220A1 (en) | Interactive representation of content for relevance detection and review | |
US20220121712A1 (en) | Interactive representation of content for relevance detection and review | |
CN115082602B (zh) | 生成数字人的方法、模型的训练方法、装置、设备和介质 | |
Stevens | Principles for the design of auditory interfaces to present complex information to blind people | |
JP5620349B2 (ja) | 対話装置、対話方法および対話プログラム | |
US20230223016A1 (en) | User interface linking analyzed segments of transcripts with extracted key points | |
Chien et al. | Topic-based hierarchical segmentation | |
KR101348282B1 (ko) | 텍스트로부터 애니메이션을 생성하는 방법 및 장치 | |
Pessanha et al. | A computational look at oral history archives | |
Matsuyama et al. | Automatic expressive opinion sentence generation for enjoyable conversational systems | |
US11176943B2 (en) | Voice recognition device, voice recognition method, and computer program product | |
WO2024114389A1 (zh) | 用于交互的方法、装置、设备和存储介质 | |
US10867525B1 (en) | Systems and methods for generating recitation items | |
CN110457691A (zh) | 基于剧本角色的情感曲线分析方法和装置 | |
Kopřivová et al. | Multi-tier transcription of informal spoken Czech: The ORTOFON corpus approach | |
Mullany | Speech communities | |
Lubis et al. | Eliciting positive emotional impact in dialogue response selection | |
JP2014191484A (ja) | 文末表現変換装置、方法、及びプログラム | |
Doran et al. | Language in action: Sport, mode and the division of semiotic labour | |
CN117082293B (zh) | 一种基于文字创意的视频自动生成方法和装置 | |
dos Reis et al. | A Computational Look at Oral History Archives |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6956337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R154 | Certificate of patent or utility model (reissue) |
Free format text: JAPANESE INTERMEDIATE CODE: R154 |