JP2023016504A - スライド再生プログラム、スライド再生装置及びスライド再生方法 - Google Patents
スライド再生プログラム、スライド再生装置及びスライド再生方法 Download PDFInfo
- Publication number
- JP2023016504A JP2023016504A JP2021120856A JP2021120856A JP2023016504A JP 2023016504 A JP2023016504 A JP 2023016504A JP 2021120856 A JP2021120856 A JP 2021120856A JP 2021120856 A JP2021120856 A JP 2021120856A JP 2023016504 A JP2023016504 A JP 2023016504A
- Authority
- JP
- Japan
- Prior art keywords
- slide
- data
- output
- control unit
- spoken text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 63
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 46
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 29
- 230000007704 transition Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 14
- 239000011295 pitch Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
以下実施の形態を、図面を参照して説明する。以下の説明におけるプレゼンテーションデータについて述べる。プレゼンテーションデータは複数のスライドを含む。スライドは、コンピュータのディスプレイに表示したり、プロジェクターで投影したりするためのプレゼンテーションソフト用の表示データをいう。スライドはオブジェクト(表示要素)を含む。オブジェクトはテキスト、図形、動画、表、グラフ等である。オブジェクトは属性として、大きさ、位置、傾きを有する。スライドには、プロジェクターで投影する際には表示されない、テキスト(発話テキスト)を含めることが可能である。当該テキストは、スピーカーノート、発表者ノート、単にノートともいう。スピーカーノートはプロジェクターで投影する画像には含まれないが、プレゼンテーションソフトを実行するコンピュータのディスプレイには表示可能である。
本実施の形態は発話テキストの翻訳を行う形態に関する。以下の説明において、上述の実施の形態と異なる点を主に説明する。本実施の形態では、発話テキストの記述言語と読み上げ音声の言語(出力言語)とが異なる場合について述べる。本実施の形態は、例えば、発話テキストが日本語で記述し、発話設定画面d03において、言語選択メニューd034で英語を選択して、発表を行う。
本実施の形態はスライド再生中にポインティングデバイスのポインタの制御を行う形態に関する。以下の説明において、上述の実施の形態と異なる点を主に説明する。本実施の形態において、発話テキスト内にポインタの制御を行うための命令(制御命令)を記述可能とする。例えば、発話テキストを以下のように記述する。
本実施の形態はVRモデルを用いた発表者の制御を行う形態に関する。以下の説明において、上述の実施の形態と異なる点を主に説明する。本実施の形態は実施の形態3に関連する形態である。
本実施の形態は他のアプリケーションソフトとの連携動作を行なう形態に関する。以下の説明において、上述の実施の形態と異なる点を主に説明する。
本実施の形態はスライドデータに発表者ノートが含まれていない場合の動作に関する形態である。以下の説明において、上述の実施の形態と異なる点を主に説明する。本実施の形態においては、スライドデータに発表者ノートが含まれていない場合、スライドデータに含まれるオブジェクトを利用して、発話テキストを作成する。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 再生装置
1P 制御プログラム
11 制御部
12 主記憶部
13 補助記憶部
131 基本設定DB
132 モデルDB
133 発話設定DB
134 画面設定DB
135 遷移設定DB
136 VRモデルデータ
137 プレゼンテーションデータ
14 通信部
15 入力部
16 表示部
17 音声出力部
18 読み取り部
1a 可搬型記憶媒体
1b 半導体メモリ
2 音声合成サーバ
B バス
N ネットワーク
Claims (14)
- 発話テキストと表示要素とを含むスライドデータを複数含むプレゼンテーションデータを取得し、
複数の前記スライドデータそれぞれに含む前記表示要素を所定の順番で出力するとともに、出力している前記スライドデータに含む前記発話テキストの読み上げ音声を、人物動画を付して出力する
処理をコンピュータに行わせることを特徴とするスライド再生プログラム。 - 1枚の静止画像を取得し、
取得した前記静止画像に基づいて、前記人物動画を作成する
ことを特徴とする請求項1に記載のスライド再生プログラム。 - 出力言語を取得し、
前記発話テキストを前記出力言語に翻訳し、翻訳した発話テキストの読み上げ音声を出力する
ことを特徴とする請求項1又は請求項2に記載のスライド再生プログラム。 - 出力している前記表示要素に対応する前記発話テキストの読み上げ音声の出力完了後に、前記スライドデータの次のスライドデータの前記表示要素を出力する
ことを特徴とする請求項1から請求項3のいずれか一項に記載のスライド再生プログラム。 - 前記読み上げ音声の出力完了後、さらに所定時間の経過後に、前記スライドデータの次のスライドデータの前記表示要素を出力する
ことを特徴とする請求項4に記載のスライド再生プログラム。 - 性別を含む音声合成モデルを特定する特定情報、並びに、声の高さ及び発話の速さを受け付け、
前記特定情報に対応した前記音声合成モデルに基づき、受け付けた声の高さ、及び、発話の速さで、前記発話テキストの読み上げ音声を出力する
ことを特徴とする請求項1から請求項5のいずれか一項に記載のスライド再生プログラム。 - 前記音声合成モデルは、特定の話者の発話音声を学習して生成したモデルを含み、
前記特定情報は話者を特定する話者識別情報を含み、該話者識別情報に対応する前記音声合成モデルに基づき、前記読み上げ音声を出力する
ことを特徴とする請求項6に記載のスライド再生プログラム。 - 前記表示要素が動画である場合、該動画の再生を行う
ことを特徴とする請求項1から請求項7のいずれか一項に記載のスライド再生プログラム。 - 前記スライドデータは、制御命令を含めることが可能であり、
出力対象となっている前記スライドデータにポインティングデバイスにより制御されるポインタの前記制御命令が含まれている場合、当該制御命令に従い、前記ポインタを制御する
ことを特徴とする請求項1から請求項8のいずれか一項に記載のスライド再生プログラム。 - 前記表示要素は全画面表示で出力し、
出力対象となっている前記スライドデータに、他のアプリケーションソフトへ遷移するリンク情報が含まれている場合、前記表示要素を表示している画面を最小化し、前記アプリケーションソフトへ制御を渡し、
前記アプリケーションソフトから制御が戻った場合、前記表示要素を全画面表示で再出力する
ことを特徴とする請求項1から請求項9のいずれか一項に記載のスライド再生プログラム。 - 出力対象となっている前記スライドデータに、人物に所定のジェスチャーを行わせる制御命令が含まれている場合、当該制御命令に従ったジェスチャーを行う前記人物動画を出力する
ことを特徴とする請求項1から請求項10のいずれか一項に記載のスライド再生プログラム。 - 前記プレゼンテーションデータは、前記発話テキストを含まないスライドデータを含み、当該スライドデータに含む前記表示要素から発話テキストを生成する
ことを特徴とする請求項1から請求項11のいずれか一項に記載のスライド再生プログラム。 - 発話テキストと表示要素とを含むスライドデータを複数含むプレゼンテーションデータを取得する取得部と、
複数の前記スライドデータそれぞれに含む前記表示要素を所定の順番で出力するとともに、出力している前記スライドデータに含む前記発話テキストの読み上げ音声を、人物動画を付して出力する出力部と
を備えることを特徴とするスライド再生装置。 - コンピュータが、
発話テキストと表示要素とを含むスライドデータを複数含むプレゼンテーションデータを取得し、
複数の前記スライドデータそれぞれに含む前記表示要素を所定の順番で出力するとともに、出力している前記スライドデータに含む前記発話テキストの読み上げ音声を、人物動画を付して出力する
処理を行うことを特徴とするスライド再生方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021120856A JP2023016504A (ja) | 2021-07-21 | 2021-07-21 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
PCT/IB2022/056404 WO2023002300A1 (ja) | 2021-07-21 | 2022-07-12 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
JP2023124775A JP2023162179A (ja) | 2021-07-21 | 2023-07-31 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021120856A JP2023016504A (ja) | 2021-07-21 | 2021-07-21 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023124775A Division JP2023162179A (ja) | 2021-07-21 | 2023-07-31 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023016504A true JP2023016504A (ja) | 2023-02-02 |
Family
ID=84980196
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021120856A Pending JP2023016504A (ja) | 2021-07-21 | 2021-07-21 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
JP2023124775A Pending JP2023162179A (ja) | 2021-07-21 | 2023-07-31 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023124775A Pending JP2023162179A (ja) | 2021-07-21 | 2023-07-31 | スライド再生プログラム、スライド再生装置及びスライド再生方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP2023016504A (ja) |
WO (1) | WO2023002300A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004128614A (ja) * | 2002-09-30 | 2004-04-22 | Toshiba Corp | 画像表示制御装置及び画像表示制御プログラム |
JP2006163871A (ja) * | 2004-12-08 | 2006-06-22 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2007072528A (ja) * | 2005-09-02 | 2007-03-22 | Internatl Business Mach Corp <Ibm> | 文書構造解析方法、プログラム、装置 |
JP2009157677A (ja) * | 2007-12-27 | 2009-07-16 | Fuji Xerox Co Ltd | 記録再生装置、およびプログラム |
JP2011090100A (ja) * | 2009-10-21 | 2011-05-06 | National Institute Of Information & Communication Technology | 音声翻訳システム、制御装置、音声認識装置、翻訳装置、および音声合成装置 |
KR20110055957A (ko) * | 2009-11-20 | 2011-05-26 | 김학식 | 파워포인트에 TTS 모듈을 플러그인(plug-in)하여 음성 합성된 파워포인트 문서 및 다양한 동영상 파일을 작성하는 방법과 이에 따른 시스템 |
JP2014140135A (ja) * | 2013-01-21 | 2014-07-31 | Kddi Corp | 情報再生端末 |
-
2021
- 2021-07-21 JP JP2021120856A patent/JP2023016504A/ja active Pending
-
2022
- 2022-07-12 WO PCT/IB2022/056404 patent/WO2023002300A1/ja active Application Filing
-
2023
- 2023-07-31 JP JP2023124775A patent/JP2023162179A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004128614A (ja) * | 2002-09-30 | 2004-04-22 | Toshiba Corp | 画像表示制御装置及び画像表示制御プログラム |
JP2006163871A (ja) * | 2004-12-08 | 2006-06-22 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2007072528A (ja) * | 2005-09-02 | 2007-03-22 | Internatl Business Mach Corp <Ibm> | 文書構造解析方法、プログラム、装置 |
JP2009157677A (ja) * | 2007-12-27 | 2009-07-16 | Fuji Xerox Co Ltd | 記録再生装置、およびプログラム |
JP2011090100A (ja) * | 2009-10-21 | 2011-05-06 | National Institute Of Information & Communication Technology | 音声翻訳システム、制御装置、音声認識装置、翻訳装置、および音声合成装置 |
KR20110055957A (ko) * | 2009-11-20 | 2011-05-26 | 김학식 | 파워포인트에 TTS 모듈을 플러그인(plug-in)하여 음성 합성된 파워포인트 문서 및 다양한 동영상 파일을 작성하는 방법과 이에 따른 시스템 |
JP2014140135A (ja) * | 2013-01-21 | 2014-07-31 | Kddi Corp | 情報再生端末 |
Non-Patent Citations (4)
Title |
---|
"LOGOSWARE STORM XE 操作マニュアル", vol. 第8版, JPN6022041147, 15 April 2021 (2021-04-15), pages 1 - 165, ISSN: 0005177537 * |
久保田秀和 他: ""「知球」:持続的に発展可能な時空間記憶の構築"", 情報処理学会研究報告, vol. 2004, no. 90, JPN6022041149, 10 September 2004 (2004-09-10), pages 1 - 8, ISSN: 0004889393 * |
吉岡理 他: ""対話型自動プレゼンテーションシステム"", 日本音響学会研究発表会議講演論文集, JPN6022041150, 15 March 2000 (2000-03-15), pages 181 - 182, ISSN: 0005177538 * |
荒井翔真 他: ""発表スライドの構造的・言語的解釈に基づく発話生成"", 言語処理学会第17回年次大会発表論文集, JPN6022041151, 7 March 2011 (2011-03-07), pages 737 - 740, ISSN: 0005177539 * |
Also Published As
Publication number | Publication date |
---|---|
JP2023162179A (ja) | 2023-11-08 |
WO2023002300A1 (ja) | 2023-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10580319B2 (en) | Interactive multimedia story creation application | |
US5689618A (en) | Advanced tools for speech synchronized animation | |
US9332100B2 (en) | Portable communications device | |
US10372790B2 (en) | System, method and apparatus for generating hand gesture animation determined on dialogue length and emotion | |
US20110319160A1 (en) | Systems and Methods for Creating and Delivering Skill-Enhancing Computer Applications | |
US20120276504A1 (en) | Talking Teacher Visualization for Language Learning | |
US20090235162A1 (en) | Method and system for providing enhanced virtual books | |
JP2001014306A (ja) | 電子文書処理方法及び電子文書処理装置並びに電子文書処理プログラムが記録された記録媒体 | |
CN115082602A (zh) | 生成数字人的方法、模型的训练方法、装置、设备和介质 | |
CN112750187A (zh) | 一种动画生成方法、装置、设备及计算机可读存储介质 | |
US20220301250A1 (en) | Avatar-based interaction service method and apparatus | |
US20180276185A1 (en) | System, apparatus and method for formatting a manuscript automatically | |
KR101790709B1 (ko) | 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법 | |
Lamberti et al. | A multimodal interface for virtual character animation based on live performance and Natural Language Processing | |
KR20180042116A (ko) | 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법 | |
WO2023002300A1 (ja) | スライド再生プログラム、スライド再生装置及びスライド再生方法 | |
KR102281298B1 (ko) | 인공지능 기반 동영상 합성을 위한 시스템 및 방법 | |
WO2001095079A1 (fr) | Systeme de traitement d'informations au moyen de modeles de bulles, systeme de traitement d'informations par traduction dans lequel les modeles de bulles sont utilisees, systeme de traitement d'informations en ligne au moyen desdits modeles de bulles, et support de stockage d'informations lisible par ordinateur | |
Bolter | Digital Media and Art: Always Already Complicit? | |
US20210174703A1 (en) | Methods and systems for facilitating learning of a language through gamification | |
JP2004102764A (ja) | 会話表現生成装置、及び会話表現生成プログラム | |
CN116741177A (zh) | 嘴型生成方法、装置、设备及存储介质 | |
KR20220121452A (ko) | 다국어를 지원하는 홈 퍼스널 트레이닝 콘텐츠 제공 방법 및 장치 | |
CN115797515A (zh) | 一种语音生成和表情驱动方法、客户端及服务端 | |
CN117649492A (zh) | 多感官交互式艺术建模方法及***、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230731 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230828 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231020 |