JP7128222B2 - 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム - Google Patents
映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム Download PDFInfo
- Publication number
- JP7128222B2 JP7128222B2 JP2020024004A JP2020024004A JP7128222B2 JP 7128222 B2 JP7128222 B2 JP 7128222B2 JP 2020024004 A JP2020024004 A JP 2020024004A JP 2020024004 A JP2020024004 A JP 2020024004A JP 7128222 B2 JP7128222 B2 JP 7128222B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- audio
- content editing
- text
- timeline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000006870 function Effects 0.000 claims description 89
- 230000000694 effects Effects 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001915 proofreading effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000012905 input function Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
Description
320:コンテンツ編集ツール
300:コンテンツ編集支援サーバ
Claims (17)
- 少なくとも1つのプロセッサを含むコンピュータ装置のコンテンツ編集支援方法であって、
前記少なくとも1つのプロセッサが、コンテンツ編集ツールで選択された映像コンテンツから複数のスナップショットを抽出する段階、
前記少なくとも1つのプロセッサが、前記抽出された複数のスナップショットを前記コンテンツ編集ツールでタイムラインに従って表示する段階、
前記少なくとも1つのプロセッサが、前記コンテンツ編集ツールに入力されたテキストを音声に変換する段階、および
前記少なくとも1つのプロセッサが、前記コンテンツ編集ツールで前記タイムラインに対して選択された時点に、前記変換された音声を追加する段階
を含み、
前記少なくとも1つのプロセッサが、前記映像コンテンツから音声を抽出してテキストに変換する段階、
前記少なくとも1つのプロセッサが、前記変換されたテキストを前記コンテンツ編集ツールで選択された音声タイプの音声に変換する段階、および
前記少なくとも1つのプロセッサが、前記変換されたテキストから変換された音声を前記映像コンテンツで音声が抽出された区間に追加する段階
をさらに含む、
コンテンツ編集支援方法。 - 前記変換する段階は、
前記映像コンテンツで前記タイムラインに対して選択された時点に対するバックグラウンドサウンドのボリュームを確認する段階、および
前記確認されたバックグラウンドサウンドのボリュームに応じて前記変換される音声の発話ボリュームを調節する段階
を含む、請求項1に記載のコンテンツ編集支援方法。 - 前記少なくとも1つのプロセッサが、前記追加された音声に対するコピーまたは切り取り機能を提供する段階、および
前記少なくとも1つのプロセッサが、前記コンテンツ編集ツールで前記タイムラインに対して選択された時点に、前記機能によってコピーまたは切り取られた音声を追加する段階
をさらに含む、請求項1または2に記載のコンテンツ編集支援方法。 - 前記少なくとも1つのプロセッサが、コンテンツ編集ツールでユーザの音声タイプを生成する機能を提供する段階
をさらに含み、
前記機能は予め定義された音声タイプの発話速度および発話ボリュームのうちの少なくとも1つを調節して新たな音声タイプを生成する機能を含む、
請求項1または2に記載のコンテンツ編集支援方法。 - 前記追加された音声に対応するテキストの内容のうちの少なくとも一部が、前記コンテンツ編集ツールで前記タイムラインに対して選択された時点と連携して表示される、
請求項1または2に記載のコンテンツ編集支援方法。 - 前記少なくとも一部の内容が表示された領域に対するユーザの入力によって前記追加された音声に対応するテキストの内容、前記追加された音声に対応する音声タイプ、および前記追加された音声の開始時間のうちの少なくとも1つを編集するための機能が提供される、
請求項5に記載のコンテンツ編集支援方法。 - 前記少なくとも1つのプロセッサが、前記コンテンツ編集ツールで提供された複数の効果音のうちの少なくとも1つの効果音の選択を受ける段階、および
前記少なくとも1つのプロセッサが、前記コンテンツ編集ツールで前記タイムラインに対して選択された時点に、前記選択された効果音を追加する段階
をさらに含む、請求項1または2に記載のコンテンツ編集支援方法。 - 前記追加された効果音に関する情報が、前記コンテンツ編集ツールで前記タイムラインに対して選択された時点と連携して表示され、
前記情報が表示された領域に対するユーザの入力によって前記追加された効果音の種類および開始時間のうちの少なくとも1つを編集するための機能が提供される、
請求項7に記載のコンテンツ編集支援方法。 - 前記少なくとも1つのプロセッサが、前記映像コンテンツを分析することで、前記変換された音声を追加する前記タイムライン上の時点を推薦する段階
をさらに含む、請求項1または2に記載のコンテンツ編集支援方法。 - 前記少なくとも1つのプロセッサが、前記映像コンテンツで前記タイムラインに対して選択された時点の映像を分析することで、前記選択された時点のための音声タイプおよび効果音のうちの少なくとも1つを推薦する段階
をさらに含む、請求項1または2に記載のコンテンツ編集支援方法。 - 前記変換する段階は、
前記タイムラインに対して選択された時点を基準に、前記タイムラインで前記変換された音声を追加することのできる区間の長さを確認する段階、および
前記確認された区間の長さに応じて前記入力されるテキストの長さを制限するか、または前記変換される音声の発話速度を調節する段階
を含む、請求項1または2に記載のコンテンツ編集支援方法。 - 前記変換された音声を追加する段階は、
前記映像コンテンツから前記タイムラインに対して選択された時点に対する話し手の音声を除去した後、前記変換された音声を追加する、
請求項1または2に記載のコンテンツ編集支援方法。 - 前記変換する段階は、
前記入力されたテキストを校正する第1機能および前記入力されたテキストを他の言語の文字に翻訳する第2機能のうちの少なくとも1つの機能を提供する段階、および
前記第1機能によって校正されるか前記第2機能によって翻訳されたテキストを、前記選択された音声タイプの音声に変換する段階
を含む、請求項1に記載のコンテンツ編集支援方法。 - 前記少なくとも1つのプロセッサが、前記タイムライン上でタイムインジケータが指示する時点に対応するサムネイル、および前記タイムインジケータが指示する時点に対応する音節単位の音声に対するテキスト情報のうちの少なくとも1つを提供する段階
をさらに含む、請求項1に記載のコンテンツ編集支援方法。 - コンピュータ装置と結合して請求項1乃至14のうちのいずれか一項に記載の方法をコンピュータ装置に実行させる、コンピュータプログラム。
- 請求項1乃至14のうちのいずれか一項に記載の方法をコンピュータ装置に実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
- コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサが、
コンテンツ編集ツールで選択された映像コンテンツから複数のスナップショットを抽出し、
前記抽出された複数のスナップショットを前記コンテンツ編集ツールでタイムラインに従って表示し、
前記コンテンツ編集ツールに入力されたテキストを音声に変換し、
前記コンテンツ編集ツールで前記タイムラインに対して選択された時点に、前記変換された音声を追加し、さらに、
前記映像コンテンツから音声を抽出してテキストに変換し、
前記変換されたテキストを前記コンテンツ編集ツールで選択された音声タイプの音声に変換し、かつ、
前記変換されたテキストから変換された音声を前記映像コンテンツで音声が抽出された区間に追加する、
コンピュータ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022130579A JP2022163217A (ja) | 2019-10-28 | 2022-08-18 | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0134240 | 2019-10-28 | ||
KR20190134240 | 2019-10-28 | ||
KR10-2019-0164647 | 2019-12-11 | ||
KR1020190164647A KR102353797B1 (ko) | 2019-10-28 | 2019-12-11 | 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022130579A Division JP2022163217A (ja) | 2019-10-28 | 2022-08-18 | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021067922A JP2021067922A (ja) | 2021-04-30 |
JP7128222B2 true JP7128222B2 (ja) | 2022-08-30 |
Family
ID=75638422
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020024004A Active JP7128222B2 (ja) | 2019-10-28 | 2020-02-17 | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム |
JP2022130579A Pending JP2022163217A (ja) | 2019-10-28 | 2022-08-18 | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022130579A Pending JP2022163217A (ja) | 2019-10-28 | 2022-08-18 | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7128222B2 (ja) |
KR (1) | KR102488623B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007091475A1 (ja) | 2006-02-08 | 2007-08-16 | Nec Corporation | 音声合成装置、音声合成方法及びプログラム |
JP2011059412A (ja) | 2009-09-10 | 2011-03-24 | Fujitsu Ltd | 合成音声テキスト入力装置及びプログラム |
US20130085748A1 (en) | 2011-09-29 | 2013-04-04 | France Telecom | Method and device for modifying a compounded voice message |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100572683B1 (ko) * | 2003-09-30 | 2006-04-19 | 주식회사유진로보틱스 | 지능형 로봇의 컨텐츠 제작용 저작툴 및 이를 이용한지능형 로봇의 컨텐츠 제작 방법 |
JP4654947B2 (ja) * | 2006-03-10 | 2011-03-23 | カシオ計算機株式会社 | 動画処理装置及びそのプログラム |
KR20070098362A (ko) * | 2006-03-31 | 2007-10-05 | (주)엔브이엘소프트 | 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법 |
JP2018078402A (ja) * | 2016-11-08 | 2018-05-17 | 株式会社シフトワン | コンテンツ制作装置、及び音声付コンテンツ制作システム |
-
2020
- 2020-02-17 JP JP2020024004A patent/JP7128222B2/ja active Active
-
2021
- 2021-12-20 KR KR1020210182754A patent/KR102488623B1/ko active IP Right Grant
-
2022
- 2022-08-18 JP JP2022130579A patent/JP2022163217A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007091475A1 (ja) | 2006-02-08 | 2007-08-16 | Nec Corporation | 音声合成装置、音声合成方法及びプログラム |
JP2011059412A (ja) | 2009-09-10 | 2011-03-24 | Fujitsu Ltd | 合成音声テキスト入力装置及びプログラム |
US20130085748A1 (en) | 2011-09-29 | 2013-04-04 | France Telecom | Method and device for modifying a compounded voice message |
Also Published As
Publication number | Publication date |
---|---|
JP2021067922A (ja) | 2021-04-30 |
KR102488623B1 (ko) | 2023-01-17 |
KR20210157458A (ko) | 2021-12-28 |
JP2022163217A (ja) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Eskenazi et al. | Crowdsourcing for speech processing: Applications to data collection, transcription and assessment | |
US20220374192A1 (en) | Platform for producing and delivering media content | |
US8862473B2 (en) | Comment recording apparatus, method, program, and storage medium that conduct a voice recognition process on voice data | |
US8972265B1 (en) | Multiple voices in audio content | |
JP2015517684A (ja) | コンテンツのカスタマイズ | |
US20120177345A1 (en) | Automated Video Creation Techniques | |
KR20220000953A (ko) | 터치스크린 상에 표시되는 조치 가능한 콘텐츠 | |
US20220208155A1 (en) | Systems and methods for transforming digital audio content | |
US20140258858A1 (en) | Content customization | |
CN115082602B (zh) | 生成数字人的方法、模型的训练方法、装置、设备和介质 | |
CN114023301A (zh) | 音频编辑方法、电子设备及存储介质 | |
TWI807428B (zh) | 一同管理與語音檔有關的文本轉換記錄和備忘錄的方法、系統及電腦可讀記錄介質 | |
JP2014222290A (ja) | 議事録記録装置、議事録記録方法及びプログラム | |
US10547582B1 (en) | Methods and systems for enhancing viewer engagement with content portions | |
WO2018175235A1 (en) | Media message creation with automatic titling | |
US20170004859A1 (en) | User created textbook | |
KR102353797B1 (ko) | 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템 | |
JP7128222B2 (ja) | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム | |
CN108255917A (zh) | 图像管理方法、设备及电子设备 | |
CA3208553A1 (en) | Systems and methods for transforming digital audio content | |
KR20220046165A (ko) | 앱과 웹의 연동을 통해 음성 파일에 대한 메모를 작성하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체 | |
JP2023530970A (ja) | 人のスピーチの豊富な転写についての音声・ツー・テキスト・タグ付けのためのシステム | |
JP7166370B2 (ja) | 音声記録のための音声認識率を向上させる方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
JP7166373B2 (ja) | 音声ファイルに対するテキスト変換記録とメモをともに管理する方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
WO2020023070A1 (en) | Text-to-speech interface featuring visual content supplemental to audio playback of text documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210414 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |