JP7495220B2 - 音声認識装置、音声認識方法、および、音声認識プログラム - Google Patents
音声認識装置、音声認識方法、および、音声認識プログラム Download PDFInfo
- Publication number
- JP7495220B2 JP7495220B2 JP2019207512A JP2019207512A JP7495220B2 JP 7495220 B2 JP7495220 B2 JP 7495220B2 JP 2019207512 A JP2019207512 A JP 2019207512A JP 2019207512 A JP2019207512 A JP 2019207512A JP 7495220 B2 JP7495220 B2 JP 7495220B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- information
- utterance
- user
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 208000027765 speech disease Diseases 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Description
次に、図3を用いて、読話装置10の構成例を説明する。図3に示すように、読話装置10は、通信部11と、記憶部12と、制御部13とを有する。
・日本人のルーツは縄文人と弥生人
・日本人の使うものはどれもクールだ
次に、図4を用いて、端末装置20の構成例を説明する。図4に示すように、端末装置20は、通信部21と、記憶部22と、マイク23と、カメラ24と、入力部25と、出力部26と、制御部27とを有する。
次に、図5を用いて、読話装置10の処理手順の例を説明する。
次に、図6を用いて、読話装置10を含むシステムの処理手順の例を説明する。処理手順は、例えば、(1)初期情報登録、(2)音声認識サービス利用、(3)認識結果の活用のフェーズに分けられる。
例えば、端末装置20の読話アプリケーションが起動されると、端末装置20は初回設定用のテキスト文を出力部26に表示する。そして、端末装置20のユーザは、当該端末装置20に向かって初回設定用のテキスト文をささやき声で読み上げる(S11)。このとき発話受付部271は、カメラ24により初回設定用のテキスト文の読み上げ時におけるユーザの口の動きを示す情報を取得し、また、マイク23により初回設定用のテキスト文の読み上げ時におけるユーザの音声情報を取得する。その後、発話情報送信部272は、取得した口の動きを示す情報および音声情報をデジタル信号に変換して、読話装置10へ送信する(S12)。
次に、ユーザは端末装置20に向けてささやき声で発話を行う(S21)。そして、発話受付部271は、カメラ24により当該発話におけるユーザの口の動きを示す情報を取得し、また、マイク23により当該発話におけるユーザの音声情報を取得する。その後、発話情報送信部272は、取得した口の動きを示す情報および音声情報をデジタル信号に変換して、読話装置10へ送信する(S22)。
また、端末装置20は、読話装置10から受信したテキスト情報(発話内容の認識結果)を他のアプリケーションやサービスに活用してもよい。例えば、端末装置20は、受信したテキスト情報を用いてメール、チャット等のコミュニケーションアプリへのテキスト連携を行ってもよい。
また、上記の実施形態において読話装置10は、ユーザの発話内容をテキスト情報に変換したものを端末装置20へ送信することとしたが、これに限定されない。例えば、読話装置10はユーザの発話内容を示す音声データを端末装置20へ送信してもよい。
また、上記の実施形態で述べた読話装置10の機能を実現するプログラムを所望の情報処理装置(コンピュータ)にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記のプログラムを情報処理装置に実行させることにより、情報処理装置を読話装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータ、ラック搭載型のサーバコンピュータ等が含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistants)等がその範疇に含まれる。また、読話装置10を、クラウドサーバに実装してもよい。
11,21 通信部
12,22 記憶部
13,27 制御部
20 端末装置
23 マイク
24 カメラ
25 入力部
26 出力部
131 読話処理部
132 音声テキスト変換部
133 発話情報取得部
134 学習部
135 出力処理部
136 修正情報取得部
271 発話受付部
272 発話情報送信部
273 テキスト受信部
274 表示部
275 修正情報送信部
Claims (6)
- ユーザに所定の発話内容をささやき声で発話するよう促すメッセージを出力する第1の出力部と
前記ユーザがささやき声で前記所定の発話内容を発話するときの前記ユーザの口の動きを示す情報および前記ユーザの音声情報を含む発話情報を取得する第1の取得部と、
前記第1の取得部により取得された発話情報と当該発話情報の示す発話内容とを用いた学習により、前記発話情報の示す発話内容の認識結果を出力するモデルを作成する学習部と
前記作成されたモデルを用いて、認識の対象となる発話情報を入力として、前記発話情報の示す発話内容の認識結果を出力する第2の出力部と、を備え、
前記学習部は、前記所定の発話内容に同音異義語が含まれる場合には、前記発話情報と前記発話内容とを用いた学習の際に、前記同音異義語の前後の言葉と音声情報とを用いた、前記所定の発話内容に含まれる前記同音異義語の学習により、前記モデルを作成する
ことを特徴とする音声認識装置。 - 前記発話内容の認識結果をテキスト情報に変換するテキスト変換部をさらに備え、
前記第2の出力部は、
前記テキスト変換部により変換された前記発話内容の認識結果のテキスト情報を出力する
ことを特徴とする請求項1に記載の音声認識装置。 - 前記発話内容の認識結果は、
前記発話内容の音声データであり、
前記テキスト変換部は、
前記発話内容の音声データをテキスト情報に変換する
ことを特徴とする請求項2に記載の音声認識装置。 - 前記音声認識装置は、
前記ユーザにより入力された、前記発話内容の認識結果のテキスト情報の修正情報を取得する第2の取得部をさらに備え、
前記学習部は、
前記第2の取得部により取得された、前記発話内容の認識結果のテキスト情報の修正情報を用いて前記モデルを修正する
ことを特徴とする請求項2に記載の音声認識装置。 - 音声認識装置により実行される音声認識方法であって、
ユーザに所定の発話内容をささやき声で発話するよう促すメッセージを出力するステップと、
前記ユーザがささやき声で前記所定の発話内容を発話するときの前記ユーザの口の動きを示す情報および前記ユーザの音声情報を含む発話情報を取得するステップと、
前記取得した発話情報と当該発話情報の示す発話内容とを用いた学習により、前記発話情報の示す発話内容の認識結果を出力するモデルを作成するステップと、
前記作成したモデルを用いて、認識の対象となる発話情報を入力として、前記発話情報の示す発話内容の認識結果を出力するステップと、を含み、
前記作成するステップは、前記所定の発話内容に同音異義語が含まれる場合には、前記発話情報と前記発話内容とを用いた学習の際に、前記同音異義語の前後の言葉と音声情報とを用いた、前記所定の発話内容に含まれる前記同音異義語の学習により、前記モデルを作成する
ことを特徴とする音声認識方法。 - ユーザに所定の発話内容をささやき声で発話するよう促すメッセージを出力するステップと、
前記ユーザがささやき声で前記所定の発話内容を発話するときの前記ユーザの口の動きを示す情報および前記ユーザの音声情報を含む発話情報を取得するステップと、
前記取得した発話情報と当該発話情報の示す発話内容とを用いた学習により、前記発話情報の示す発話内容の認識結果を出力するモデルを作成するステップと、
前記作成したモデルを用いて、認識の対象となる発話情報を入力として、前記発話情報の示す発話内容の認識結果を出力するステップと、をコンピュータに実行させ、
前記作成するステップは、前記所定の発話内容に同音異義語が含まれる場合には、前記発話情報と前記発話内容とを用いた学習の際に、前記同音異義語の前後の言葉と音声情報とを用いた、前記所定の発話内容に含まれる前記同音異義語の学習により、前記モデルを作成する
ことを特徴とする音声認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207512A JP7495220B2 (ja) | 2019-11-15 | 2019-11-15 | 音声認識装置、音声認識方法、および、音声認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019207512A JP7495220B2 (ja) | 2019-11-15 | 2019-11-15 | 音声認識装置、音声認識方法、および、音声認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021081527A JP2021081527A (ja) | 2021-05-27 |
JP7495220B2 true JP7495220B2 (ja) | 2024-06-04 |
Family
ID=75965003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019207512A Active JP7495220B2 (ja) | 2019-11-15 | 2019-11-15 | 音声認識装置、音声認識方法、および、音声認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7495220B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001142477A (ja) | 1999-11-12 | 2001-05-25 | Matsushita Electric Ind Co Ltd | 有声音形成装置とそれを用いた音声認識装置 |
JP2003255993A (ja) | 2002-03-04 | 2003-09-10 | Ntt Docomo Inc | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム |
JP2009506386A (ja) | 2005-08-31 | 2009-02-12 | マイクロソフト コーポレーション | 対話式ユーザチュートリアルへの、音声エンジン訓練の組込み |
CN108520741A (zh) | 2018-04-12 | 2018-09-11 | 科大讯飞股份有限公司 | 一种耳语音恢复方法、装置、设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3893763B2 (ja) * | 1998-08-17 | 2007-03-14 | 富士ゼロックス株式会社 | 音声検出装置 |
JP2010048890A (ja) * | 2008-08-19 | 2010-03-04 | Ntt Docomo Inc | クライアント装置、認識結果フィードバック方法、認識結果フィードバックプログラム、サーバ装置、音声認識のモデル更新方法、音声認識のモデル更新プログラム、音声認識システム、音声認識方法、音声認識プログラム |
-
2019
- 2019-11-15 JP JP2019207512A patent/JP7495220B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001142477A (ja) | 1999-11-12 | 2001-05-25 | Matsushita Electric Ind Co Ltd | 有声音形成装置とそれを用いた音声認識装置 |
JP2003255993A (ja) | 2002-03-04 | 2003-09-10 | Ntt Docomo Inc | 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム |
JP2009506386A (ja) | 2005-08-31 | 2009-02-12 | マイクロソフト コーポレーション | 対話式ユーザチュートリアルへの、音声エンジン訓練の組込み |
CN108520741A (zh) | 2018-04-12 | 2018-09-11 | 科大讯飞股份有限公司 | 一种耳语音恢复方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2021081527A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111369971B (zh) | 语音合成方法、装置、存储介质和电子设备 | |
JP4271224B2 (ja) | 音声翻訳装置、音声翻訳方法、音声翻訳プログラムおよびシステム | |
US8306819B2 (en) | Enhanced automatic speech recognition using mapping between unsupervised and supervised speech model parameters trained on same acoustic training data | |
CN111899719A (zh) | 用于生成音频的方法、装置、设备和介质 | |
US10811005B2 (en) | Adapting voice input processing based on voice input characteristics | |
EP3824462B1 (en) | Electronic apparatus for processing user utterance and controlling method thereof | |
JP2017058673A (ja) | 対話処理装置及び方法と知能型対話処理システム | |
EP2485212A1 (en) | Speech translation system, first terminal device, speech recognition server device, translation server device, and speech synthesis server device | |
KR20210103002A (ko) | 감정 정보 기반의 음성 합성 방법 및 장치 | |
CN110197655B (zh) | 用于合成语音的方法和装置 | |
US20230206897A1 (en) | Electronic apparatus and method for controlling thereof | |
KR20200080400A (ko) | 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치 | |
US20200194003A1 (en) | Meeting minute output apparatus, and control program of meeting minute output apparatus | |
CN112513984A (zh) | 电子设备及其控制方法 | |
CN113205793B (zh) | 音频生成方法、装置、存储介质及电子设备 | |
CN111785247A (zh) | 语音生成方法、装置、设备和计算机可读介质 | |
US10866948B2 (en) | Address book management apparatus using speech recognition, vehicle, system and method thereof | |
JP2020027132A (ja) | 情報処理装置およびプログラム | |
EP1899955B1 (en) | Speech dialog method and system | |
CN114495901A (zh) | 语音合成方法、装置、存储介质及电子设备 | |
US10529324B1 (en) | Geographical based voice transcription | |
JP7495220B2 (ja) | 音声認識装置、音声認識方法、および、音声認識プログラム | |
US20190304457A1 (en) | Interaction device and program | |
KR20200056754A (ko) | 개인화 립 리딩 모델 생성 방법 및 장치 | |
CN113421571B (zh) | 一种语音转换方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7495220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |