JP7506092B2 - 対象言語のコンテンツを二つの形態で同時表現させ、対象言語の聴解力を向上させるためのシステムと方法 - Google Patents
対象言語のコンテンツを二つの形態で同時表現させ、対象言語の聴解力を向上させるためのシステムと方法 Download PDFInfo
- Publication number
- JP7506092B2 JP7506092B2 JP2021560614A JP2021560614A JP7506092B2 JP 7506092 B2 JP7506092 B2 JP 7506092B2 JP 2021560614 A JP2021560614 A JP 2021560614A JP 2021560614 A JP2021560614 A JP 2021560614A JP 7506092 B2 JP7506092 B2 JP 7506092B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- content
- transcript
- words
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 69
- 230000000007 visual effect Effects 0.000 claims description 169
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 description 25
- 230000014616 translation Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 23
- 238000012552 review Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000010079 rubber tapping Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 238000013459 approach Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 210000005069 ears Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013515 script Methods 0.000 description 7
- 240000000220 Panda oleosa Species 0.000 description 6
- 235000016496 Panda oleosa Nutrition 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000237858 Gastropoda Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000007858 starting material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000191966 Anas gracilis Species 0.000 description 1
- 208000004739 Egg Hypersensitivity Diseases 0.000 description 1
- 206010016946 Food allergy Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000010860 egg allergy Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
この出願書は35、U.S.C.§119に基づき、2019年4月9日にダニエル・ポールレイノー(Daniel Paul Raynaud)氏によって、提出されたアメリカ合衆国仮特許出願書62/831,380号“SYSTEM AND METHOD FOR FORMATTING OR PRESENTATION OF CONTENT IN A TARGE TLANGUAGE TO IMPROVE LISTENING FLUENCY IN THE TARGET LANGUAGE”(対象言語のコンテンツを編集又は表現させ、対象言語の聴解力を向上させるためのシステムと方法)に対して、優先権の利益を主張すると共に、前記仮特許出願書の全文を参考により、この出願書に完全に取り組むこととする。
本発明は主に言語習得と関係する。 具体的には、本発明の実施例は第二言語(「対象言語」とも呼ばれる)の習得を補助するシステムと方法に関連する。特に、本発明の実施例は、注記のある視覚的表現、又は一部非表示処理された視覚的表現を含む対象言語のコンテンツを、同コンテンツの聴覚的表現と共に表現させることで、言語の聴解力が向上するシステムと方法に関連する。
学習者が母語、又は既に流暢に話せるもう一つの言語を除いた言語(文中、一般的に「対象言語」と呼ばれる)を学習しようとする際、通常は簡単な文型と基本的な語彙から学習を始めようとする。(例:「卵を食べました」)から始まり、その後時間をかけ、徐々にもっと複雑な文型へ取り組むようになる(例:「もし強い卵アレルギーがなければ、礼儀を示すためにだけそのポーチドエッグを食べることにしたであろう」)。 忍耐力とよく設計された課程が用意されていれば、初級の学習者は読む、書く、話すスキルにおいて、高いレベルの流暢性、又は母語並みの流暢性を得ることができる。
上記の問題を含む問題を解決するためには、独学を実施する又は補助する、コンピューター実装の外国語(第二言語、第三言語、その他外国語、文中には通常「対象言語」とされる)の聴解力を向上させるシステムと方法の実施例は本明細書で開示される。 前記実施例は、あるコンテンツを聴覚的表現として提供すると同時に、前記コンテンツに対応するトランスクリプトの視覚的表現を同時に提供し、学習者による言語習得の効率性を向上させるように図る様、両表現が連携される(表現が同期化される)こともある。
聴解力の訓練と共に、実施例は学習者においては、持続可能且つ実用性のある理解語彙の構築にもつながる。
例えば、実施例が、音声コンテンツと同時に提供されるトランスクリプトの一部又は全部が完全に非表示処理された視覚的表現を利用することがある。
実施例が録音されたあらゆる言語コンテンツ(オーディオブック、ラジオの劇、講演、音楽を含むが、これに限定されるものではない)から学習するのに有用だが、実施例が特に有用性を発揮するコンテンツは最も難易度の高いコンテンツ、つまり自然かつ計画されてない発言で、慣用句を多く含み、話者の年齢、出身地、文化的背景の特徴を反映させる発言コンテンツである。
各ワードグループの種類は、例えば、特定な色の下線によって区分けされることも可能であり、又各ワードグループの種類は異なるユーザー操作を可能とする要素を有することがある。
前記一つ以上のワードグループは、例えば、クライアントアプリケーションのインターフェースを使用することでユーザーによって選択されることも可能とする。
下記の明細が発明の複数の実施例と前記実施例の詳細を数多く示すが、下記の明細は発明の可能性を描写するものであり、発言を限定するものではないと理解すべきである。 発明の本質から逸脱ことなく、発明の範囲内には多くの置換、改修、追加及び・又は組み換えが可能となり、前記発明は全ての置換、改修、追加及び・又は組み換えを含むものとする。
本発明は、例えば、以下の項目を提供する。
(項目1)
言語学習システムであって、前記言語学習システムは、
プロセッサと非一時的コンピューター読み取り可能な媒体とを含むサーバーであって、前記非一時的コンピューター読み取り可能な媒体は、
対象言語におけるコンテンツを備えている音声ファイルを受信することと、
前記対象言語における前記音声ファイルの前記コンテンツの単語のトランスクリプトを入手することと、
前記音声ファイルと前記トランスクリプトとに基づいてタイムスタンプファイルを生成することであって、前記タイムスタンプファイルは、前記トランスクリプトの各単語に関するワード用タイムスタンプを含み、前記トランスクリプトの各単語に関する前記ワード用タイムスタンプは、そのワードが前記コンテンツにおいて出現する場所に関連付けられた前記音声ファイルにおける時間に対応する、ことと、
前記トランスクリプトと前記タイムスタンプファイルとに基づいてトランスクリプトおよびタイミングファイルを生成することであって、前記トランスクリプトおよびタイミングファイルは、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語と、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語に関する前記関連付けられたワード用タイムスタンプを備えている、ことと
を行うための命令を備えている、サーバーと、
クライアントデバイスであって、前記クライアントデバイスは、プロセッサーとクライアントアプリケーションとを備え、前記クライアントアプリケーションは、
前記音声ファイルと、前記対応するトランスクリプトおよびタイミングファイルとを入手することと、
前記クライアントデバイスにおけるオーディオプレイヤーを使用して、前記音声ファイルの前記コンテンツを聴覚的に表現することと、
前記音声ファイルの前記コンテンツの前記聴覚的表現と同時に、トランスクリプトおよびタイミングファイルを使用して、インターフェースを動的に生成することであって、前記インターフェースは、前記対象言語の前記コンテンツの視覚的トランスクリプトの視覚的表示を含み、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、オーディオプレイヤーによる聴覚的表現と同期化され、前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、前記コンテンツの単語の組の視覚的トランスクリプトを含み、
前記コンテンツの前記単語の組の前記視覚的トランスクリプトは、非表示処理されている単語の組と非表示処理されていない単語の組とを含み、
前記視覚的表示における前記非表示処理されている単語の組の各々は、前記視覚的表示において対応するマスクとして表現することによって非表示処理され、前記マスクは、前記対応する非表示処理された単語に従ってサイズを決定され、
前記非表示処理されていない単語の組は、前記対象言語の文字で前記視覚的表示において表現される、ことと、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示を前記コンテンツの前記聴覚的表現と同期させることであって、前記同期させることは、
前記トランスクリプトおよびタイミングファイルにおける単語に関連付けられた前記ワード用タイムスタンプとオーディオプレイヤーの状態とに基づいて、その単語が前記コンテンツの前記聴覚的表現において表現されていることを判断することと、
前記聴覚的表現におけるその単語の前記聴覚的表現と実質的に同時に、前記視覚的表示におけるその単語をハイライトすることであって、前記単語が前記非表示処理されている単語の組に属する場合、その単語に対応する前記マスクがハイライトされ、前記単語が前記非表示処理されていない単語の組に属する場合、前記単語の前記文字表現がハイライトされる、ことと
を含む、ことと
を行うための命令を含む、クライアントデバイスと
を備えている、言語学習システム。
(項目2)
前記非表示処理されていない単語の組は、1つ以上のワードグループのカテゴリーを含み、前記ワードグループのカテゴリーは、語彙、非標準的使用例、聞き取りづらい単語、または、注意が付いた単語を含む、項目1のシステム。
(項目3)
前記1つ以上のワードグループカテゴリーは、前記インターフェースを使用するユーザーによって選択される、項目2のシステム。
(項目4)
前記非表示処理されていない単語の組は、前記インターフェースにおける前記1つ以上の単語の前記表現とのユーザーの相互作用に基づいて前記インターフェースの動的生成中に決定された1つ以上の単語を含む、項目1のシステム。
(項目5)
前記クライアントアプリケーションは、要求される補助の度合いに基づいて、前記非表示処理されていない単語の組に対する前記非表示処理された単語の組の比率を改変するための命令を備えている、項目1のシステム。
(項目6)
前記マスクは、前記対応する単語の特性に基づいて形を決定される、項目1のシステム。
(項目7)
前記サーバーの前記非一時的コンピューター読み取り可能な媒体の前記命令、または前記クライアントアプリケーションの前記命令は、
前記音声ファイルの前記コンテンツの前記聴覚的表現における無音領域の組を決定することであって、前記無音領域の組は、前記聴覚的表現に関連付けられた自然な無音領域である、ことと、
前記コンテンツの前記聴覚的表現における前記無音領域の決定された組の長さを延ばすことと
を行うための命令を含む、項目1のシステム。
(項目8)
言語学習方法であって、前記言語学習方法は、
対象言語における音声コンテンツを備えている音声ファイルと、対応するトランスクリプトおよびタイミングファイルとを入手することであって、前記トランスクリプトおよびタイミングファイル」は、
前記対象言語における前記音声ファイルの前記コンテンツの単語のトランスクリプトを入手することと、
前記音声ファイルと前記トランスクリプトとに基づいてタイムスタンプファイルを生成することであって、前記タイムスタンプファイルは、前記トランスクリプトの各単語に関するワード用タイムスタンプを含み、前記トランスクリプトの各単語に関する前記ワード用タイムスタンプは、そのワードが前記コンテンツにおいて出現する場所に関連付けられた前記音声ファイルにおける時間に対応する、ことと、
前記トランスクリプトと前記タイムスタンプファイルとに基づいて前記トランスクリプトおよびタイミングファイルを生成することであって、前記トランスクリプトおよびタイミングファイルは、前記音声ファイル前記コンテンツの前記トランスクリプトの各単語と、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語に関する前記関連付けられたワード用タイムスタンプを備えている、ことと
によって生成される、ことと、
オーディオプレイヤーを使用して、前記音声ファイルの前記コンテンツを聴覚的に表現することと、
前記音声ファイルの前記コンテンツの前記聴覚的表現と同時に、「トランスクリプトとタイミングファイル」を使用して、インターフェースを動的に生成することであって、前記インターフェースは、前記対象言語の前記コンテンツの視覚的トランスクリプトの視覚的表示を含み、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、オーディオプレイヤーによる聴覚的表現と同期化され、前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、前記コンテンツの単語の組の視覚的トランスクリプトを含み、
前記コンテンツの前記単語の組の前記視覚的トランスクリプトは、非表示処理されている単語の組と非表示処理されていない単語の組とを含み、
前記視覚的表示における前記非表示処理されている単語の組の各々は、前記視覚的表示において対応するマスクとして表現することによって非表示処理され、前記マスクは、前記対応する非表示処理された単語に従ってサイズを決定され、
前記非表示処理されていない単語の組は、前記対象言語の文字で前記視覚的表示において表現される、ことと、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示を前記コンテンツの前記聴覚的表現と同期させることであって、前記同期させることは、
前記トランスクリプトおよびタイミングファイルにおける単語に関連付けられた前記ワード用タイムスタンプとオーディオプレイヤーの状態とに基づいて、その単語が前記コンテンツの前記聴覚的表現において表現されていることを判断することと、
前記聴覚的表現におけるその単語の前記聴覚的表現と実質的に同時に、前記視覚的表示におけるその単語をハイライトすることであって、前記単語が前記非表示処理されている単語の組に属する場合、その単語に対応する前記マスクがハイライトされ、前記単語が前記非表示処理されていない単語の組に属する場合、前記単語の前記文字表現がハイライトされる、ことと
を含む、ことと
を含む、言語学習方法。
(項目9)
前記非表示処理されていない単語の組は、1つ以上のワードグループのカテゴリーを含み、前記ワードグループのカテゴリーは、語彙、非標準的使用例、聞き取りづらい単語、または、注意が付いた単語を含む、項目8の方法。
(項目10)
前記1つ以上のワードグループカテゴリーは、前記インタフェースを使用するユーザーによって選択される、項目9の方法。
(項目11)
前記非表示処理されていない単語の組は、前記インターフェースにおける前記1つ以上の単語の前記表現とのユーザーの相互作用に基づいて前記インターフェースの動的生成中に決定された1つ以上の単語を含む、項目8の方法。
(項目12)
前記非表示処理されていない単語の組に対する前記非表示処理された単語の組の比率は、要求される補助の度合いに基づいて、改変される、項目8の方法。
(項目13)
前記マスクは、前記対応する単語の特性に基づいて形を決定される、項目8の方法。
(項目14)
前記音声ファイルの前記コンテンツの前記聴覚的表現における無音領域の組を決定することであって、前記無音領域の組は、前記聴覚的表現に関連付けられた自然な無音領域である、ことと、
前記コンテンツの前記聴覚的表現における前記無音領域の決定された組の長さを延ばすことと
をさらに含む、項目8の方法。
(項目15)
非一時的コンピューター読み取り可能な媒体であって、前記非一時的コンピューター読み取り可能な媒体は、
対象言語における音声コンテンツを備えている音声ファイルと、対応するトランスクリプトおよびタイミングファイルとを入手することであって、前記トランスクリプトおよびタイミングファイル」は、
前記対象言語における前記音声ファイルの前記コンテンツの単語のトランスクリプトを入手することと、
前記音声ファイルと前記トランスクリプトとに基づいてタイムスタンプファイルを生成することであって、前記タイムスタンプファイルは、前記トランスクリプトの各単語に関するワード用タイムスタンプを含み、前記トランスクリプトの各単語に関する前記ワード用タイムスタンプは、そのワードが前記コンテンツにおいて出現する場所に関連付けられた前記音声ファイルにおける時間に対応する、ことと、
前記トランスクリプトと前記タイムスタンプファイルとに基づいてトランスクリプトおよびタイミングファイルを生成することであって、前記トランスクリプトおよびタイミングファイルは、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語と、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語に関する前記関連付けられたワード用タイムスタンプを備えている、ことと
によって生成される、ことと、
オーディオプレイヤーを使用して、前記音声ファイルの前記コンテンツを聴覚的に表現することと、
前記音声ファイルの前記コンテンツの前記聴覚的表現と同時に、「トランスクリプトとタイミングファイル」を使用して、インターフェースを動的に生成することであって、前記インターフェースは、前記対象言語の前記コンテンツの視覚的トランスクリプトの視覚的表示を含み、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、オーディオプレイヤーによる聴覚的表現と同期化され、前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、前記コンテンツの単語の組の視覚的トランスクリプトを含み、
前記コンテンツの前記単語の組の前記視覚的トランスクリプトは、非表示処理されている単語の組と非表示処理されていない単語の組とを含み、
前記視覚的表示における前記非表示処理されている単語の組の各々は、前記視覚的表示において対応するマスクとして表現することによって非表示処理され、
前記非表示処理されていない単語の組は、前記対象言語の文字で前記視覚的表示において表現される、ことと、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示を前記コンテンツの前記聴覚的表現と同期させることであって、前記同期させることは、
前記トランスクリプトおよびタイミングファイルにおける単語に関連付けられた前記ワード用タイムスタンプとオーディオプレイヤーの状態とに基づいて、その単語が前記コンテンツの前記聴覚的表現において表現されていることを判断することと、
前記聴覚的表現におけるその単語の前記聴覚的表現と実質的に同時に、前記視覚的表示におけるその単語をハイライトすることであって、前記単語が前記非表示処理されている単語の組に属する場合、その単語に対応する前記マスクがハイライトされ、前記単語が前記非表示処理されていない単語の組に属する場合、前記単語の前記文字表現がハイライトされる、ことと
を含む、ことと
を行うための命令を含む、非一時的コンピューター読み取り可能な媒体。
(項目16)
前記非表示処理されていない単語の組は、1つ以上のワードグループのカテゴリーを含み、前記ワードグループのカテゴリーは、語彙、非標準的使用例、聞き取りづらい単語、または、注意が付いた単語を含む、項目15の非一時的コンピューター読み取り可能な媒体。
(項目17)
前記1つ以上のワードグループカテゴリーは、前記インタフェースを使用するユーザーによって選択される、項目16の非一時的コンピューター読み取り可能な媒体。
(項目18)
前記非表示処理されていない単語の組は、前記インターフェースにおける前記1つ以上の単語の前記表現とのユーザーの相互作用に基づいて前記インターフェースの動的生成中に決定された1つ以上の単語を含む、項目15の非一時的コンピューター読み取り可能な媒体。
(項目19)
前記非表示処理されていない単語の組に対する前記非表示処理された単語の組の比率は、要求される補助の度合いに基づいて、改変される、項目15の非一時的コンピューター読み取り可能な媒体。
(項目20)
前記マスクは、前記対応する単語の特性に基づいて形を決定される、項目15の非一時的コンピューター読み取り可能な媒体。
(項目21)
前記音声ファイルの前記コンテンツの前記聴覚的表現における無音領域の組を決定することであって、前記無音領域の組は、前記聴覚的表現に関連付けられた自然な無音領域である、ことと、
前記コンテンツの前記聴覚的表現における前記無音領域の決定された組の長さを延ばすことと
を行うための命令をさらに含む、項目15の非一時的コンピューター読み取り可能な媒体。
前記発明及び前記発明の機能と優位性をもたらす詳細情報は、付随される図面で描写され、下記の詳細な説明で説明される、限定性を有しない実施例を参照に更に詳しく説明される。 発明の詳細を分かりにくくすることを回避するため、周知の出発材料、処理技術、構成部品と装備が割愛される。 下記の発明の詳細な説明及び特定な実施例が、発明の実施例を示すものではあるが、発明を描写するためのものであり、発明を限定するものではないと理解すべきである。 根底にある発明性のある概念の本質及び・又は範囲内にある複数の代替案、改修案、追加案又は組換案が、当業者にとっては前記開示から明らかになるであろう。
聴解力を訓練させると同時に、実施例は学習者が保持可能且つ実用的な理解語彙(学者者が自らの発言の中で利用できないとしても、認知できる単語類)の構築を促す。
特に、インターフェースのある実施例はユーザー(つまり学習者又は聞き手)が一つだけの側面に集中するように調節されており、その理由は聞き手を「コンテンツをギリギリ理解できる領域」に居続けさせ、文字トランスクリプトの中の凡そどの辺りを聴いているか分かるために十分な追加情報を提供しつつ、聴覚的表現に付いていくために払うべき労力がもう耳と脳にとって残っていない状況が生じないように、補助を過剰に与えないようにすることがJiveworldアプリケーションの一つの目的である。
語彙(ボキャブラリー) ー 出現頻度が比較的に低く、学習者にとって馴染みがない、選択された単語又はフレーズは視覚的表現で非表示処理されないことがある。 図2Bには出現頻度が比較的に低く、非表示処理されないことがあるフレーズの例「intento desperado」が表示される(例:色のついた、例えば緑色の下線で強調されることもある)。
誤用又は非標準的な用法 ー 文法の標準的なルールに従わないコンテンツ、誤用となる単語、誤った文脈に使用される単語(例:話者が意図せずに使用したもの)が視覚的表現の中で非表示処理されないまま表示されることがある。 図2Bには、例として、「inlegal」が非表示処理されないまま表示されている(例:オレンジの様な色で強調される。
聞き取りづらい単語 ー 有用な語彙ではないとしても、聴覚的な表現の中で早口で発話される単語、音脱落を伴う単語等、非母語話者にとって理解しにくいワードグループ。 「聞き取りづらい単語」は視覚的表現で非表示処理されないことがある。 図2Bで非表示処理されていない
注記 ー 視覚的表現の中にあり、学習者に馴染みのない文化的、歴史的、言語学的意味合いを持つ文中の単語、フレーズや固有名詞で、編集者がメモを追加できる
構成的な構造:セクション>段落>文>ワード
線形順序:セクションヒント→セクションのノート→ハイライトされた文→1番目のワード→2番目のワード
isChapterPlayingが真である間、内部タイマー1804(deadReckonertimer)によりカーソル及びはfurthestPlayedElementを増分させるタイミングを決定すること;ユーザーが視覚的表現を操作した際カーソル又はfurthestPlayedElementの値が正しく調節するように巻き戻し及び移動のロジックを管理すること;現在のオーディオプレイヤー1802ーを管理すること(例:オーディオプレイヤーのplay(),pause(),seekTo(),setTimeStretch()をコールすること)。
duration(持続時間)(例:ミリ秒)ー オブジェクトに関する対応する要素がハイライトされるべき時間持続時間。いくつかの要素は、属性を有しないこともある(例:文、段落 ー 現在の要素を構成する単数又は、複数の単語及び前記isUnderCursorロジックに従い、持続時間が計算できるので。
上記で詳細に記載されている通り、duration(例:ミリ秒)ー isChapterPlayingが真である間、内部タイマー1804(deadReckoner)の時間を判断するのに使用することができる。
audioStart(音声開始)(例:ミリ秒)ー 音声コンテンツにおいて、対応する要素が開始する時点を指すタイムスタンプ(音声コンテンツにある要素のためにのみこの属性を保持しても良い)。
audioStart(音声開始)(例:ミリ秒)ー 前記属性には以下の用途がある:巻き戻しや移動の際、オーディオプレイヤーの位置を移動させるためにオーディオプレイヤーにseekTo()をコールする;実際のオーディオプレイヤーの時間を内部タイマー1804(deadReckoner)に比較することで、内部タイマー1804(deadReckoner)のタイミングを調整すること。
例えば、ある工程、製品、物品や装置の説明が、ある要素の一覧を記載したとしても、前記要素は必ずしも前記要素のみからなることはなく、前記一覧に明示的に記載されていない要素、又は前記工程、製品、物品、又は装置の一部を本質的に成す要素を含むことがある。
又、その他の解釈が記載されていない限り、「又は」という表現は、包括的論理和を意味、排他的論理和を意味しない。
例えば、「条件A又は条件B」が記載されている場合、下記に記載されているいずれもの状況はにより満たされることとする。
Aが真(又は存在する)およびBが偽(又は存在しない);Aが偽(又は存在しない)およびBが真(又は存在する);AとBの両方が真(又は存在する)。
その代わり、前記例又や図は、一つある特定な実施例のみを説明するためのものであると解釈することとする。当業者は、前記例又は図と共に記載されている全ての用語が、前記例又は図が本明細の中に記載されている位置、又はその他の位置に記載がない他の実施例も包含し、前記用語が指す範囲には、前記その他実施例も含まれると解釈する。
限定性のない例や図を指摘する用語は、「例:」(原文:for example)、例えば(原文:for instance)、例えば(原文:e.g.)や“in one embodiment”(原文:ある実施例では)を含むがそれに限定されない。
付録A
データモデル
エピソード及び章のために使用される静的モデルの例
Claims (21)
- 言語学習システムであって、前記言語学習システムは、
プロセッサと非一時的コンピューター読み取り可能な媒体とを含むサーバーであって、前記非一時的コンピューター読み取り可能な媒体は、
対象言語におけるコンテンツを備えている音声ファイルを受信することと、
前記対象言語における前記音声ファイルの前記コンテンツの単語のトランスクリプトを入手することと、
前記音声ファイルと前記コンテンツの前記単語の前記トランスクリプトとに基づいてタイムスタンプファイルを生成することであって、前記タイムスタンプファイルは、前記トランスクリプトの各単語に関するワード用タイムスタンプを含み、前記トランスクリプトの各単語に関する前記ワード用タイムスタンプは、そのワードが前記コンテンツにおいて出現する場所に関連付けられた前記音声ファイルにおける時間に対応する、ことと、
前記トランスクリプトと前記タイムスタンプファイルとに基づいて、前記音声ファイルに対応するトランスクリプトおよびタイミングファイルを生成することであって、前記トランスクリプトおよびタイミングファイルは、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語と、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語に関する前記関連付けられたワード用タイムスタンプとを備えている、ことと
を行うための命令を備えている、サーバーと、
クライアントデバイスであって、前記クライアントデバイスは、プロセッサとクライアントアプリケーションとを備え、前記クライアントアプリケーションは、
前記音声ファイルと、前記対応するトランスクリプトおよびタイミングファイルとを入手することと、
前記クライアントデバイスにおけるオーディオプレイヤーを使用して、前記音声ファイルの前記コンテンツを聴覚的に表現することと、
前記音声ファイルの前記コンテンツの前記聴覚的表現と同時に、前記トランスクリプトおよびタイミングファイルを使用して、インターフェースを動的に生成することであって、前記インターフェースは、前記対象言語の前記コンテンツの視覚的トランスクリプトの視覚的表示を含み、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、前記オーディオプレイヤーによる前記コンテンツの前記聴覚的表現と同期され、前記コンテンツの単語の組の視覚的トランスクリプトを含み、
前記コンテンツの前記単語の組の前記視覚的トランスクリプトは、非表示処理されている単語の組と非表示処理されていない単語の組とを含み、
前記視覚的表示における前記非表示処理されている単語の組の各々は、前記非表示処理されている単語を前記視覚的表示において対応するマスクとして表現することによって非表示処理され、前記マスクは、前記対応する非表示処理された単語に従ってサイズを決定され、
前記非表示処理されていない単語の組の各々は、前記対象言語の文字で前記視覚的表示において表現される、ことと、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示を前記コンテンツの前記聴覚的表現と同期させることであって、前記同期させることは、
前記トランスクリプトおよびタイミングファイルにおける単語に関連付けられた前記ワード用タイムスタンプと前記オーディオプレイヤーの状態とに基づいて、その単語が前記コンテンツの前記聴覚的表現において表現されていることを判断することと、
前記聴覚的表現におけるその単語の前記聴覚的表現と実質的に同時に、前記視覚的表示におけるその単語の表現をハイライトすることであって、前記単語が前記非表示処理されている単語の組に属する場合、その単語に対応する前記マスクがハイライトされ、前記単語が前記非表示処理されていない単語の組に属する場合、前記単語の前記文字表現がハイライトされる、ことと
を含む、ことと
を行うための命令を含む、クライアントデバイスと
を備えている、言語学習システム。 - 前記非表示処理されていない単語の組は、1つ以上のワードグループの種類を含み、前記1つ以上のワードグループの種類は、語彙、非標準的使用例、聞き取りづらい単語、または、注意が付いた単語を含む、請求項1のシステム。
- 前記1つ以上のワードグループの種類は、前記インターフェースを使用するユーザーによって選択される、請求項2のシステム。
- 前記非表示処理されていない単語の組は、前記インターフェースにおける前記1つ以上の単語の前記表現とのユーザーの相互作用に基づいて前記インターフェースの動的生成中に決定された1つ以上の単語を含む、請求項1のシステム。
- 前記クライアントアプリケーションは、要求される補助の度合いに基づいて、前記非表示処理されていない単語の組に対する前記非表示処理された単語の組の比率を改変するための命令を備えている、請求項1のシステム。
- 前記マスクは、前記対応する単語の前記コンテンツに基づいて形を決定される、請求項1のシステム。
- 前記サーバーの前記非一時的コンピューター読み取り可能な媒体の前記命令、または前記クライアントアプリケーションの前記命令は、
前記音声ファイルの前記コンテンツの前記聴覚的表現における無音領域の組を決定することであって、前記無音領域の組は、前記聴覚的表現に関連付けられた自然な無音領域である、ことと、
前記コンテンツの前記聴覚的表現における前記無音領域の決定された組の長さを延ばすことと
を行うための命令を含む、請求項1のシステム。 - 言語学習方法であって、前記言語学習方法は、
対象言語におけるコンテンツを備えている音声ファイルと、対応するトランスクリプトおよびタイミングファイルとを入手することであって、前記トランスクリプトおよびタイミングファイルは、
前記対象言語における前記音声ファイルの前記コンテンツの単語のトランスクリプトを入手することと、
前記音声ファイルと前記コンテンツの前記単語の前記トランスクリプトとに基づいてタイムスタンプファイルを生成することであって、前記タイムスタンプファイルは、前記トランスクリプトの各単語に関するワード用タイムスタンプを含み、前記トランスクリプトの各単語に関する前記ワード用タイムスタンプは、そのワードが前記コンテンツにおいて出現する場所に関連付けられた前記音声ファイルにおける時間に対応する、ことと、
前記トランスクリプトと前記タイムスタンプファイルとに基づいて、前記音声ファイルに対応する前記トランスクリプトおよびタイミングファイルを生成することであって、前記トランスクリプトおよびタイミングファイルは、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語と、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語に関する前記関連付けられたワード用タイムスタンプとを備えている、ことと
によって生成される、ことと、
オーディオプレイヤーを使用して、前記音声ファイルの前記コンテンツを聴覚的に表現することと、
前記音声ファイルの前記コンテンツの前記聴覚的表現と同時に、前記トランスクリプトおよびタイミングファイルを使用して、インターフェースを動的に生成することであって、前記インターフェースは、前記対象言語の前記コンテンツの視覚的トランスクリプトの視覚的表示を含み、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、オーディオプレイヤーによる前記コンテンツの前記聴覚的表現と同期され、前記コンテンツの単語の組の視覚的トランスクリプトを含み、
前記コンテンツの前記単語の組の前記視覚的トランスクリプトは、非表示処理されている単語の組と非表示処理されていない単語の組とを含み、
前記視覚的表示における前記非表示処理されている単語の組の各々は、前記非表示処理されている単語を前記視覚的表示において対応するマスクとして表現することによって非表示処理され、前記マスクは、前記対応する非表示処理された単語に従ってサイズを決定され、
前記非表示処理されていない単語の組の各々は、前記対象言語の文字で前記視覚的表示において表現される、ことと、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示を前記コンテンツの前記聴覚的表現と同期させることであって、前記同期させることは、
前記トランスクリプトおよびタイミングファイルにおける単語に関連付けられた前記ワード用タイムスタンプと前記オーディオプレイヤーの状態とに基づいて、その単語が前記コンテンツの前記聴覚的表現において表現されていることを判断することと、
前記聴覚的表現におけるその単語の前記聴覚的表現と実質的に同時に、前記視覚的表示におけるその単語の表現をハイライトすることであって、前記単語が前記非表示処理されている単語の組に属する場合、その単語に対応する前記マスクがハイライトされ、前記単語が前記非表示処理されていない単語の組に属する場合、前記単語の前記文字表現がハイライトされる、ことと
を含む、ことと
を含む、言語学習方法。 - 前記非表示処理されていない単語の組は、1つ以上のワードグループの種類を含み、前記1つ以上のワードグループの種類は、語彙、非標準的使用例、聞き取りづらい単語、または、注意が付いた単語を含む、請求項8の方法。
- 前記1つ以上のワードグループの種類は、前記インターフェースを使用するユーザーによって選択される、請求項9の方法。
- 前記非表示処理されていない単語の組は、前記インターフェースにおける前記1つ以上の単語の前記表現とのユーザーの相互作用に基づいて前記インターフェースの動的生成中に決定された1つ以上の単語を含む、請求項8の方法。
- 前記非表示処理されていない単語の組に対する前記非表示処理された単語の組の比率は、要求される補助の度合いに基づいて、改変される、請求項8の方法。
- 前記マスクは、前記対応する単語の前記コンテンツに基づいて形を決定される、請求項8の方法。
- 前記音声ファイルの前記コンテンツの前記聴覚的表現における無音領域の組を決定することであって、前記無音領域の組は、前記聴覚的表現に関連付けられた自然な無音領域である、ことと、
前記コンテンツの前記聴覚的表現における前記無音領域の決定された組の長さを延ばすことと
をさらに含む、請求項8の方法。 - 非一時的コンピューター読み取り可能な媒体であって、前記非一時的コンピューター読み取り可能な媒体は、
対象言語におけるコンテンツを備えている音声ファイルと、対応するトランスクリプトおよびタイミングファイルとを入手することであって、前記トランスクリプトおよびタイミングファイルは、
前記対象言語における前記音声ファイルの前記コンテンツの単語のトランスクリプトを入手することと、
前記音声ファイルと前記コンテンツの前記単語の前記トランスクリプトとに基づいてタイムスタンプファイルを生成することであって、前記タイムスタンプファイルは、前記トランスクリプトの各単語に関するワード用タイムスタンプを含み、前記トランスクリプトの各単語に関する前記ワード用タイムスタンプは、そのワードが前記コンテンツにおいて出現する場所に関連付けられた前記音声ファイルにおける時間に対応する、ことと、
前記トランスクリプトと前記タイムスタンプファイルとに基づいて、前記音声ファイルに対応する前記トランスクリプトおよびタイミングファイルを生成することであって、前記トランスクリプトおよびタイミングファイルは、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語と、前記音声ファイルの前記コンテンツの前記トランスクリプトの各単語に関する前記関連付けられたワード用タイムスタンプとを備えている、ことと
によって生成される、ことと、
オーディオプレイヤーを使用して、前記音声ファイルの前記コンテンツを聴覚的に表現することと、
前記音声ファイルの前記コンテンツの前記聴覚的表現と同時に、前記トランスクリプトおよびタイミングファイルを使用して、インターフェースを動的に生成することであって、前記インターフェースは、前記対象言語の前記コンテンツの視覚的トランスクリプトの視覚的表示を含み、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示は、前記オーディオプレイヤーによる前記コンテンツの前記聴覚的表現と同期され、前記コンテンツの単語の組の視覚的トランスクリプトを含み、
前記コンテンツの前記単語の組の前記視覚的トランスクリプトは、非表示処理されている単語の組と非表示処理されていない単語の組とを含み、
前記視覚的表示における前記非表示処理されている単語の組の各々は、前記非表示処理されている単語を前記視覚的表示において対応するマスクとして表現することによって非表示処理され、前記マスクは、前記対応する非表示処理された単語に従ってサイズを決定され、
前記非表示処理されていない単語の組の各々は、前記対象言語の文字で前記視覚的表示において表現される、ことと、
前記コンテンツの前記視覚的トランスクリプトの前記視覚的表示を前記コンテンツの前記聴覚的表現と同期させることであって、前記同期させることは、
前記トランスクリプトおよびタイミングファイルにおける単語に関連付けられた前記ワード用タイムスタンプと前記オーディオプレイヤーの状態とに基づいて、その単語が前記コンテンツの前記聴覚的表現において表現されていることを判断することと、
前記聴覚的表現におけるその単語の前記聴覚的表現と実質的に同時に、前記視覚的表示におけるその単語の表現をハイライトすることであって、前記単語が前記非表示処理されている単語の組に属する場合、その単語に対応する前記マスクがハイライトされ、前記単語が前記非表示処理されていない単語の組に属する場合、前記単語の前記文字表現がハイライトされる、ことと
を含む、ことと
を行うための命令を含む、非一時的コンピューター読み取り可能な媒体。 - 前記非表示処理されていない単語の組は、1つ以上のワードグループの種類を含み、前記1つ以上のワードグループの種類は、語彙、非標準的使用例、聞き取りづらい単語、または、注意が付いた単語を含む、請求項15の非一時的コンピューター読み取り可能な媒体。
- 前記1つ以上のワードグループの種類は、前記インターフェースを使用するユーザーによって選択される、請求項16の非一時的コンピューター読み取り可能な媒体。
- 前記非表示処理されていない単語の組は、前記インターフェースにおける前記1つ以上の単語の前記表現とのユーザーの相互作用に基づいて前記インターフェースの動的生成中に決定された1つ以上の単語を含む、請求項15の非一時的コンピューター読み取り可能な媒体。
- 前記非表示処理されていない単語の組に対する前記非表示処理された単語の組の比率は、要求される補助の度合いに基づいて、改変される、請求項15の非一時的コンピューター読み取り可能な媒体。
- 前記マスクは、前記対応する単語の前記コンテンツに基づいて形を決定される、請求項15の非一時的コンピューター読み取り可能な媒体。
- 前記音声ファイルの前記コンテンツの前記聴覚的表現における無音領域の組を決定することであって、前記無音領域の組は、前記聴覚的表現に関連付けられた自然な無音領域である、ことと、
前記コンテンツの前記聴覚的表現における前記無音領域の決定された組の長さを延ばすことと
を行うための命令をさらに含む、請求項15の非一時的コンピューター読み取り可能な媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962831380P | 2019-04-09 | 2019-04-09 | |
US62/831,380 | 2019-04-09 | ||
PCT/US2020/027388 WO2020210434A1 (en) | 2019-04-09 | 2020-04-09 | System and method for dual mode presentation of content in a target language to improve listening fluency in the target language |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022533310A JP2022533310A (ja) | 2022-07-22 |
JP7506092B2 true JP7506092B2 (ja) | 2024-06-25 |
Family
ID=72747431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021560614A Active JP7506092B2 (ja) | 2019-04-09 | 2020-04-09 | 対象言語のコンテンツを二つの形態で同時表現させ、対象言語の聴解力を向上させるためのシステムと方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US10984667B2 (ja) |
EP (1) | EP3953839A4 (ja) |
JP (1) | JP7506092B2 (ja) |
WO (1) | WO2020210434A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11443646B2 (en) * | 2017-12-22 | 2022-09-13 | Fathom Technologies, LLC | E-Reader interface system with audio and highlighting synchronization for digital books |
KR102498172B1 (ko) * | 2019-01-09 | 2023-02-09 | 이장호 | 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법 |
US10984667B2 (en) | 2019-04-09 | 2021-04-20 | Jiveworld, SPC | System and method for dual mode presentation of content in a target language to improve listening fluency in the target language |
AU2020262442A1 (en) * | 2019-04-24 | 2021-11-11 | Aacapella Holdings Pty Ltd | Augmentative and alternative communication (AAC) reading system |
US11295746B2 (en) * | 2020-07-15 | 2022-04-05 | Gracenote, Inc. | System and method for multi-modal podcast summarization |
CN112241282B (zh) * | 2020-10-27 | 2024-02-23 | 上海万向区块链股份公司 | 基于react项目的全局状态数据管理方法及*** |
US11836266B2 (en) * | 2021-12-14 | 2023-12-05 | Redactable Inc. | Cloud-based methods and systems for integrated optical character recognition and redaction |
US11949840B1 (en) * | 2022-11-11 | 2024-04-02 | Kyocera Document Solutions Inc. | Redacting confidential information in a document and reversal thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013118387A1 (ja) | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2016114781A (ja) | 2014-12-15 | 2016-06-23 | 株式会社ベネッセコーポレーション | 情報処理装置、情報処理方法及びプログラム |
US20170256178A1 (en) | 2013-02-15 | 2017-09-07 | Voxy, Inc. | Systems and methods for calculating text difficulty |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5336093A (en) * | 1993-02-22 | 1994-08-09 | Cox Carla H | Reading instructions method for disabled readers |
US7149690B2 (en) * | 1999-09-09 | 2006-12-12 | Lucent Technologies Inc. | Method and apparatus for interactive language instruction |
US20040218451A1 (en) * | 2002-11-05 | 2004-11-04 | Said Joe P. | Accessible user interface and navigation system and method |
US8504369B1 (en) * | 2004-06-02 | 2013-08-06 | Nuance Communications, Inc. | Multi-cursor transcription editing |
EP1910949A4 (en) * | 2005-07-29 | 2012-05-30 | Cataphora Inc | IMPROVED METHOD AND APPARATUS FOR ANALYZING SOCIOLOGICAL DATA |
US7779347B2 (en) * | 2005-09-02 | 2010-08-17 | Fourteen40, Inc. | Systems and methods for collaboratively annotating electronic documents |
US9047283B1 (en) * | 2010-01-29 | 2015-06-02 | Guangsheng Zhang | Automated topic discovery in documents and content categorization |
US8392186B2 (en) * | 2010-05-18 | 2013-03-05 | K-Nfb Reading Technology, Inc. | Audio synchronization for document narration with user-selected playback |
US8744855B1 (en) * | 2010-08-09 | 2014-06-03 | Amazon Technologies, Inc. | Determining reading levels of electronic books |
US9679496B2 (en) | 2011-12-01 | 2017-06-13 | Arkady Zilberman | Reverse language resonance systems and methods for foreign language acquisition |
US20130196292A1 (en) * | 2012-01-30 | 2013-08-01 | Sharp Kabushiki Kaisha | Method and system for multimedia-based language-learning, and computer program therefor |
US8887044B1 (en) * | 2012-06-27 | 2014-11-11 | Amazon Technologies, Inc. | Visually distinguishing portions of content |
WO2014039828A2 (en) * | 2012-09-06 | 2014-03-13 | Simmons Aaron M | A method and system for reading fluency training |
US9684641B1 (en) * | 2012-09-21 | 2017-06-20 | Amazon Technologies, Inc. | Presenting content in multiple languages |
GB201220849D0 (en) * | 2012-11-20 | 2013-01-02 | Caber Entpr Ltd | Methods and apparatus for audio output composition and generation |
US9298703B2 (en) | 2013-02-08 | 2016-03-29 | Machine Zone, Inc. | Systems and methods for incentivizing user feedback for translation processing |
US20190312973A1 (en) * | 2014-02-28 | 2019-10-10 | Ultratec, Inc. | Semiautomated relay method and apparatus |
US20160055145A1 (en) * | 2014-08-19 | 2016-02-25 | Sandeep Chauhan | Essay manager and automated plagiarism detector |
US10257151B2 (en) * | 2014-10-27 | 2019-04-09 | Phanto, Llc | Systems and methods for enabling dialog amongst different participant groups with variable and association-based privacy |
US9947313B2 (en) * | 2015-01-26 | 2018-04-17 | William Drewes | Method for substantial ongoing cumulative voice recognition error reduction |
US10235007B2 (en) * | 2015-05-21 | 2019-03-19 | Gammakite, Llc | Guided operation of a language device based on constructed, time-dependent data structures |
WO2016185289A1 (en) * | 2015-05-21 | 2016-11-24 | Gammakite, Llc | Device for language teaching with time dependent data memory |
US9666208B1 (en) * | 2015-12-14 | 2017-05-30 | Adobe Systems Incorporated | Hybrid audio representations for editing audio content |
US20180121053A1 (en) * | 2016-08-31 | 2018-05-03 | Andrew Thomas Nelson | Textual Content Speed Player |
US11170663B2 (en) * | 2017-03-25 | 2021-11-09 | SpeechAce LLC | Teaching and assessment of spoken language skills through fine-grained evaluation |
US10671251B2 (en) * | 2017-12-22 | 2020-06-02 | Arbordale Publishing, LLC | Interactive eReader interface generation based on synchronization of textual and audial descriptors |
JP6487095B1 (ja) * | 2018-04-10 | 2019-03-20 | 長城学院株式会社 | 中国語教材 |
US10984667B2 (en) | 2019-04-09 | 2021-04-20 | Jiveworld, SPC | System and method for dual mode presentation of content in a target language to improve listening fluency in the target language |
-
2020
- 2020-04-09 US US16/844,252 patent/US10984667B2/en active Active
- 2020-04-09 JP JP2021560614A patent/JP7506092B2/ja active Active
- 2020-04-09 EP EP20787196.3A patent/EP3953839A4/en active Pending
- 2020-04-09 WO PCT/US2020/027388 patent/WO2020210434A1/en unknown
- 2020-12-23 US US17/132,988 patent/US11551568B2/en active Active
-
2022
- 2022-10-07 US US17/962,062 patent/US20230048738A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013118387A1 (ja) | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US20170256178A1 (en) | 2013-02-15 | 2017-09-07 | Voxy, Inc. | Systems and methods for calculating text difficulty |
JP2016114781A (ja) | 2014-12-15 | 2016-06-23 | 株式会社ベネッセコーポレーション | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210183260A1 (en) | 2021-06-17 |
WO2020210434A1 (en) | 2020-10-15 |
JP2022533310A (ja) | 2022-07-22 |
US10984667B2 (en) | 2021-04-20 |
US20230048738A1 (en) | 2023-02-16 |
US20200327817A1 (en) | 2020-10-15 |
US11551568B2 (en) | 2023-01-10 |
EP3953839A1 (en) | 2022-02-16 |
EP3953839A4 (en) | 2022-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7506092B2 (ja) | 対象言語のコンテンツを二つの形態で同時表現させ、対象言語の聴解力を向上させるためのシステムと方法 | |
Hepburn et al. | The conversation analytic approach to transcription | |
US10283013B2 (en) | System and method for language learning through film | |
Field | Cognitive validity | |
EP0986802B1 (en) | Reading and pronunciation tutor | |
Brown et al. | Listening myths: Applying second language research to classroom teaching | |
US9280906B2 (en) | Prompting a user for input during a synchronous presentation of audio content and textual content | |
US20140039871A1 (en) | Synchronous Texts | |
US20070255570A1 (en) | Multi-platform visual pronunciation dictionary | |
US20120276504A1 (en) | Talking Teacher Visualization for Language Learning | |
JPH10509811A (ja) | 外国語教育補助方法及び装置 | |
Wald | Creating accessible educational multimedia through editing automatic speech recognition captioning in real time | |
US20230419847A1 (en) | System and method for dual mode presentation of content in a target language to improve listening fluency in the target language | |
JP2016224283A (ja) | 外国語の会話訓練システム | |
US11537781B1 (en) | System and method to support synchronization, closed captioning and highlight within a text document or a media file | |
WO2020096496A1 (ru) | Способ запоминания иностранных слов | |
WO2024054965A1 (en) | System and method for dual mode presentation of content in a target language to improve listening fluency | |
TW583610B (en) | System and method using computer to train listening comprehension and pronunciation | |
WO2013086575A1 (en) | Speech visualisation tool | |
US20240233571A1 (en) | Technology and systems to develop reading fluency through an interactive, multi-sensory reading experience | |
JP2009075526A (ja) | 音声合成利用の総合的英語学習システム | |
Alessai | WaveFont for Arabic Video Captioning | |
Wang | Foreign Language Learning Through Subtitling | |
Mohammed et al. | A Stylistic Analysis of Junctures in Relation to Pauses in Doctor Strange and Aladdin Movies | |
Wald | Learning through multimedia: Automatic speech recognition enabling accessibility and interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231211 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240613 |