JP2009145434A - 音声認識システム - Google Patents

Abstract

【課題】音声認識システムを提供する。
【解決手段】音声認識システムは、少なくとも１つの音声認識エンジンおよび表示装置を含み、且つ該表示装置上に信号インジケータインターフェイスおよび文字出力インターフェイスを設けてなる。そのうち、該信号インジケータインターフェイスは、波形によって使用者が入力した音声信号を表し、録音状態、音声認識進行中状態または音声認識完成状態を表示する。該文字出力インターフェイスは、音声認識した文字結果を表示することに用い、且つ該文字結果は少なくとも１つのワードユニットを含む。また、表示するワードユニットおよび対応する波形ユニットがそれぞれ１つのフィードバック調整選択項目組と連結する；そのフィードバック調整選択項目組は、少なくとも１つのフィードバック調整選択項目を含み、使用者にコマンドを選択させ、音声認識エラーを更正するか、または音声認識システムをフィードバック調整する。
【選択図】図5

Description

本発明は、音声認識システムに関し、特に、デスクトップ型パソコン、ノート型パソコン、家庭用マルチメディアシステム、テレビ、ＤＶＤ、映像システム、携帯電話またはＰＤＡ等の画像表示インターフェイスの電子装置に適用し、波形で録音状態、音声処理状態または音声認識完成状態を表示することができ、且つ波形と文字表示インターフェイス上に少なくとも１つのフィードバック調整選択項目を有し、使用者がコマンドを選択し、音声認識エラーを更正するか、または、音声認識システムを調整する音声認識技術の視覚フィードバックインターフェースに関する。

昨今、多くの電子装置の使用方面において、音声認識技術の発展が使用者を更に便利にしている。デスクトップ型パソコン、ノート型パソコン、携帯電話、ＰＤＡまたはその他の電子装置は、いずれもその入力は、制御の目的を達成するために視覚と肢体の相互の協調が必要である。例を挙げれば、使用者がパソコンを操作する時、コマンドの入力を完成するためにキーボード、マウスまたはその他の付属の制御装置の補助が必要である。または、タッチ式モニターを使用し、プログラムの入力を簡易化するが、しかしながら、モニター表示面積は有限であり、且つ指を使用して操作を行う必要があり、依然として最大の便利性を達成できていない。上記問題は一般人にとっては、ただ不便であるだけかもしれないが、身体障害者、運動神経に疾患を有するもの、または視覚障害者である使用者にとっては、上記電子装置を操作することは、困難である。音声認識技術は、正にこれらの問題を解決することができる。

音声認識の応用方面は、使用者が音声信号入力装置、例えば、マイクロフォンだけを必要とし、その音声入力を音声認識システムに認識させ、その後、入力したい音声に対応した文字を出力するか、または更に取得した音声認識結果に基づき直接コマンド操作を行う。

音声認識システムを使用する時、上記のように、使用者は音声信号入力装置によって音声を入力ならびに録音し、その後、認識過程を開始する。録音および認識過程中、多くの要因が最終的な音声認識結果に影響を及ぼし、例えば、使用する音声信号入力装置の種類、録音の環境、音声入力装置との距離等である。従って、録音および認識過程の監視制御に対して、その需要を有している。これに関して、従来の技術または異なる画像を使用し録音状態および認識状態を表示する、または画像の変化を利用し録音または認識状態を表示するものがある。しかしながら、状態を表示すると同時に、録音または認識結果の品質の優劣または録音過程が成功しているか否かを反映させることができない。

また、音声認識の結果に対して、従来技術または認識結果に基づき若干の調整機能を提供するものがあるが、大半は、音声認識結果全体に対して設けられるだけであるので、音声認識結果中の某部分に対して調整を行い、フィードバックにより音声認識システムの機能を向上させることはできず、使用者別の需要に適合することができない。例を挙げれば、使用者別の某文字または言葉の発音に特殊な訛りがあり、該文字、言葉に対する音声認識結果に対して、フィードバック、調整を行うことができない場合、使用者別に合わせた音声認識システムを提供することができず、その実際の運用の効果が大幅に減少する。
特開２００３−１６７６００号公報

本発明の目的は、波形を利用して録音状態、音声認識進行中の状態、または音声認識完成状態を表す音声認識システムを提供し、使用者に直接音声信号波で録音品質、音声処理速度および音声認識結果品質を監視制御させることである。

本発明のもう１つの目的は、エラー更正フィードバック調整機制を備えた音声認識システムを提供し、使用者に効率的な音声認識エラーの更正、または音声認識システムのフィードバック調整を提供することである。

上記目的を達成するため、本発明が提供する音声認識システムは、少なくとも１つの音声認識エンジンおよび表示装置を含み、且つ該表示装置上に信号インジケータインターフェイスおよび文字出力インターフェイスを設け、そのうち、該信号インジケータインターフェイスは、波形によって使用者が入力した音声信号を表し、録音状態、音声認識進行中状態または音声認識完成状態を表示する。該文字出力インターフェイスは、音声認識した文字結果を表示することに用い、且つ該文字結果は少なくとも１つのワードユニットを含む。また、表示するワードユニットおよび対応する波形ユニットがそれぞれ１つのフィードバック調整選択項目組と連結する；そのフィードバック調整選択項目組は、少なくとも１つのフィードバック調整選択項目を含み、使用者にコマンドを選択させ、音声認識エラーを更正するか、または音声認識システムをフィードバック調整する。

上記波形は、好適には、異なる色でそれぞれ録音状態、音声認識信号中状態および音声認識完成状態を表す。

上記入力した音声信号が認識完成した後、認識結果を文字出力インターフェイス上に出力し、且つ各ワードユニットが好適には、信号インジケータインターフェイス上に対応する波形ユニットと照合する。音声認識品質は、大きく分けて三種程度であり、品質良好、品質不良および品質劣悪で厳格な検視、更正が必要である状態を含み、それぞれ異なる色で表示される。

上記信号インジケータインターフェイスの波形ユニットと１つのフィードバック調整選択項目組が連結される；そのフィードバック調整選択項目組が少なくとも１つの選択項目の連結を含み使用者にコマンドを選択させ、効率的に音声認識エラーを更正するか、または音声認識システムをフィードバック調整する。

上記文字出力インターフェイスのワードユニットと１つのフィードバック調整選択項目組が連結する。そのフィードバック調整選択項目組が少なくとも１つの選択項目との連結を含み、使用者にコマンドを選択させ、効率的に音声認識エラーを更正するか、または音声認識システムをフィードバック調整する。

本発明が提供する波形を利用し使用者の音声信号を表す音声認識システムによって、使用者は録音過程が成功しているか否かおよび入力音声信号の品質を即座に判断することができる。
本発明が提供する波形の色を変化させる音声認識システムによって、使用者は、音声処理の進度および音声認識結果の品質を便利に監視制御できる。
本発明が提供する音声認識システムによって、使用者は、ワードユニットが入力した音声信号および音声認識結果の文字に対してエラー更正またはシステムのフィードバック調整することで便利に文字入力の作業が完成でき、あるいは該音声認識システムの性能の改善を持続することができる。

本発明の音声認識システムの好適な実施例を図面を用いて説明する。
図１は、本発明の実施例の音声認識技術の視覚フィードバックインターフェースを用いた音声認識システムについての説明図であるが、デスクトップ型パソコン、ノート型パソコン、家庭用マルチメディアシステム、テレビ、ＤＶＤ、映像システム、携帯電話またはＰＤＡ等の画像表示インターフェイスの電子装置に適用する音声認識システムに関するものである。
図に示すように、本発明の実施例の音声認識システムは、少なくとも音声認識エンジン１０および表示装置２０を含み、且つ該表示装置２０に信号インジケータインターフェイス３０および文字出力インターフェイス４０を設けてなる。そのうち、該信号インジケータインターフェイス３０は波形３２によって使用者が入力する音声信号を表し、録音状態の音声認識状態を表示する。該文字出力インターフェイス４０は、音声認識結果の文字４２を表示し、該文字結果は、少なくとも１つのワードユニットを含む。図に示すように、信号インジケータインターフェイス３０上に表示する波形３２は、使用者が入力した音声信号を表示することに用い、文字出力インターフェイス４０上に表示する文字４２は上記音声認識後に取得される結果である。

また、本発明の実施例の音声認識システムの表示装置２０は、デスクトップ型パソコン、ノート型パソコン、家庭用マルチメディアシステム、テレビ、ＤＶＤ、ＡＶ機器、携帯電話またはＰＤＡ等の電子装置の表示スクリーンに用いることができ、映像信号を出力する表示スクリーンまたはリモコン上の表示スクリーンに連結できる。

図２は、本発明の第１実施例の説明図であり、使用者の録音状態を表示する。図に示すように、録音過程時、使用者は、音声信号入力装置（図示せず、例えば、マイクロフォン）によって音声を音声認識システム内に入力し、入力した音声信号は波形３２で信号インジケータインターフェイス３０上に表示される。波形の使用は、２つの利点を有する内の１つは、使用者が録音過程において、ある原因によって使用者の音声信号を実際上円滑に入力できない場合、例えば、音声信号入力装置が起動しない、音声入力装置と音声認識システムを設けた電子装置の接触不良等の原因、この時、使用者は、波形の変化を観察し、即座に反応でき、時間の浪費を避けることができる。
もう１つは、波形の形状に基づき、使用者は、音声信号の入力品質をだいたい判別することができ、適切な調整を行うことができる。例を挙げれば、環境ノイズの干渉、使用する音声入力装置の感度、または使用者が音声入力装置を使用する方式等が音声信号を入力する品質に影響する可能性があり、録音段階において、音声信号入力品質に影響を及ぼす要因を掌握し排除すれは、その後の音声認識過程において、軽視できない補助となる。

上記のように、本発明の第１実施例の該信号インジケータインターフェイス３０は、波形３２によって録音状態および音声認識状態を表示し、そのうち、音声認識状態が更に音声認識進行中状態および音声認識完成状態を含む。また、録音状態、音声認識進行中状態および音声認識完成状態を表す代表は、それぞれ異なる色で表示し、使用者が視覚上で処理状態を、音声認識品質、または音声認識の速度を判断できる。

使用者が入力した音声信号が識別進行中である時、上記信号インジケータインターフェイス３０の信号波形３２は、異なる色で既に処理された信号波形を表示し、音声認識の過程を示す。言い換えれば、開始時、使用者が入力した音声信号を録音状態の色で表示する。音声認識プロセス開始後、処理した音声信号は音声認識進行中状態の色で表示する。入力した音声信号認識が全て完成した後、音声認識完成状態の色で表示する。某ワードユニットは認識品質が良好な色であり、某ワードユニットは認識品質が不良な色であり、某ワードユニットは認識品質が劣悪の色である。

図３に示すように、実線の波形３２１は、音声認識過程を完成したものであり、点線の波形３２２は、音声認識過程を完成していないものである。音声認識が完成した後、全ての波形を新たな色へ変更させ、音声認識の処理が完成したことを表示する。詳細は後に記載する。

使用者が音声信号を入力し且つ入力された音声信号も認識が完成した後、認識結果は好ましくは、ワードユニット４２０を選択し、逐一上記の文字出力インターフェイス４０上に表示する。図４に示すように、使用者が入力する音声信号が波形３２で表示され、そのうち、該波形３２は、少なくとも１つの波形ユニット３２０を区分し、各波形ユニット３２０は、認識結果中のワードユニット４２０に対応し、両者の対応関係は、前後位置を相互に合わせるように調整する方式で対応する。本実施例中、各波形ユニット３２０は、認識結果のワードユニット４２０に対応する。図４から分かるように、使用者は、「今日の天気は如何」の音声信号を入力し、それが表示する文字結果は「今日の天気は如何」である。波形ユニット３２０に対応する入力音声信号は、認識結果中「今日」のワードユニット４２０であることができる。両者の位置前後は相互に照合され、且つ異なる色でその認識品質を表す。

該音声認識システムが音声理解に用いる時、信号インジケータインターフェイス３０は、依然として図４に示すように、文字出力インターフェイス４０は、音声理解の結果を出力する。また、文字出力インターフェイス４０は音声認識結果の文字４２を含むことができ、または、それをまず隠し、使用者が表示することを選択した後に表示させることもできる。

図４に示すように、音声認識完成後、その信号と文字表示は、「今日」、「天気」、「如何」等のワードユニット４２０を単位とし段落を合わせ、そのうち、各ワードユニットがいずれも色で表示し、該ワードユニットの音声認識結果の品質を表す。本実施例中、各ワードユニット４２０は緑色、黄色または赤色で表示する。そのうち、緑色は、該文字が良好な音声認識品質であることを示す。黄色は、該文字が不良な音声品質を有することを警告する。赤色は、該文字が劣悪な音声品質を有し、検査、更正が必要である音声認識結果を表す。このように、使用者は、直接視覚上、各ワードユニットの音声認識結果品質の優劣を分別し、適切な誤り更正とフィードバック調整システムの処理を行うことができる。

また、上記各波形ユニット３２０は、フィードバック調整選択項目組と連結する。
該選択項目組は、少なくとも１つの選択項目を含み、使用者に再度録音させ、録音を更正し、音声認識のエラーを更正させるか、音声認識システムをフィードバック調整させる。図５に示すように、各波形ユニット３２０は、第１フィードバック調整選択項目組５０と連結し、該第１フィードバック調整選択項目組５０は、少なくとも１つのフィードバック調整選択項目５２を含む。本実施例中、該第１フィードバック調整選択項目組５０は、「リピート」、「再録」、「受け入れ調整」、「手書き入力に変更」、「キーボード入力に変更」等の第１フィードバック調整選択項目５２を含む。
音声認識完成後、使用者は、該表示装置２０上に表示されるマウスポインタ２２をフィードバック調整したい波形ユニット３２０に移動させ、自動またはマウスまたはタッチパッドでポイントし、該波形ユニット３２０と連結する第１フィードバック調整選択項目組５０を該表示装置２０上に表示する。従って、使用者は、必要な第１フィードバック調整選択項目５２を選択し、音声認識結果を更正、または音声認識システムをフィードバック調整する。

例を挙げれば、使用者は、波形に異常を発見した時、第１フィードバック調整選択項目５２の選択項目「リピート」を選択し、「該音声信号」をリピートし、ノイズ干渉がないかを確定する。または、音声認識の文字結果が程度の大きな偏差を有する時、該「リピート」とした第１フィードバック調整選択項目５２によって入力した音声信号を再度聞き、原因の所在、例えば、発音の偏差を検出する。
問題があることが確定された場合、第１フィードバック調整選択項目５２の選択項目「再録」を選択し、音声信号を再度入力する。音声認識の文字出力結果の偏差が元の発音習慣の問題によるものである場合、第１フィードバック調整選択項目５２の「受け入れ調整」の選択項目を選択し、音声認識システムを鋭く調整し、該使用者の要求に適合させることができる。
該音声認識システムが該言葉を明瞭に認識できるように調整する前、使用者は入力モードの変更を決定し、例えば、「手書き入力に変更」または「キーボード入力に変更等」を選択し、音声入力モードを手書きまたはキーボードモードに切り替え、入力の目的を完成する。

上記文字表示結果中の各ワードユニット４２０も、フィードバック選択項目組と連結する。該選択項目組は、少なくともフィードバック調整選択項目との連結を含み、使用者に選択させ、音声認識のエラーを更正し、または音声認識システムをフィードバック調整する。
図６に示すように、各ワードユニット４２０は、第２フィードバック調整選択項目組６０と連結し、該第２フィードバック調整選択項目組６０は、少なくとも１つのフィードバック選択項目６２を含む。本実施例中、該第２フィードバック調整選択項目組６０は、「次の音声認識選択項目を表示する」、「音声の相似度に従い音声認識選択項目を優先的に表示する」、「全ての選択項目を表示する」、「手書き入力に変更する」、「キーボード入力に変更する」等のフィードバック選択項目６２を含む。音声認識完成後、使用者は、該マウスポインタ２２をフィードバック調整したいワードユニット４２０上に移動させ、自動またはマウス、またはタッチパッドでポイントすることによって、該ワードユニット４２０と連結する第２フィードバック調整選択項目組６０を該表示装置２０上に表示することができる。従って、使用者は、必要なフィードバック調整選択項目６２を選択することによって、音声認識結果に対してフィードバック調整を行うことができる。

発音の問題によって、使用者が入力した音声信号に基づき獲得される音声認識文字結果は大きく変化する可能性がある。図６を例とし、使用者が朗読する音声は、「私はご飯が食べたい」であり、発音習慣の違いによって、認識が得る結果が異なる可能性がある。使用者が入力した音声信号に基づき、本発明の視覚フィードバックシステムは、使用者が該入力した音声信号の複数の音声認識近似結果に対して、選択させる。近似結果は、上記第２フィードバック調整選択項目組６０中の異なるフィードバック選択項目６２を選択し、決定することができる。例を挙げれば、「次の選択肢」の選択項目６２を選択することによって、使用者は、次の選択肢を得ることができる。「音声相似度優先」の選択項目６２を選択することによって、使用者は、前後の言葉の関連に基づき最も可能な選択肢を検出し獲得することができる。または、「全ての選択肢を表示」の選択項目６２を選択することによって、使用者は、全ての音声認識選択肢を表示させることができる。または、使用者は、その他の入力モードを選択することができ、例えば「手書き入力に切り替え」または「キーボード入力に切り替え」を選択し、音声入力モードを手書きまたはキーボード入力モードに切り替え、入力の目的を完成することができる。

なお、本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない均等の範囲内で各種の変動や潤色を加えることができることは勿論である。

本発明の音声認識システムの説明図である。 本発明の音声認識システムの第１実施例の説明図である。 本発明の音声認識システムの第１実施例のもう１つの説明図である。 本発明の音声認識システムの第１実施例のもう１つの説明図である。 本発明の音声認識システムの第１実施例の使用状態図である。 本発明の音声認識システムの第１実施例のもう１つの使用状態図である。

符号の説明

１０ 音声認識エンジン
２０ 表示装置
２２ マウスポインタ
３０ 信号インジケータインターフェイス
３２，３２１，３２２ 波形
３２０ 波形ユニット
４０ 文字出力インターフェイス
４２ 文字
４２０ ワードユニット
５０ 第１フィードバック調整選択項目組
５２ 第１フィードバック調整選択項目
６０ 第２フィードバック調整選択項目組
６２ 第２フィードバック調整選択項目

Claims (13)

1. 少なくとも１つの音声認識エンジンおよび表示装置を含み、
   且つ該表示装置上に、
   波形で使用者が入力する音声信号を表し、録音状態、音声認識進行中状態、音声認識完成状態を表示する信号インジケータインターフェイスと、
   音声認識した文字結果を表示することに用い、且つ該文字結果が少なくとも２つのワードユニットを含む文字出力インターフェイスと、
   を有することを特徴とする音声認識システム。
2. 前記信号インジケータインターフェイス上に表示する録音状態、音声認識進行中状態、音声認識完成状態の波形がそれぞれ異なる色で表示されることを特徴とする請求項１記載の音声認識システム。
3. 前記文字出力インターフェイス上の音声認識した文字結果の各ワードユニットが、それぞれ異なる色で各ワードユニットの音声認識品質を表すことを特徴とする請求項１記載の音声認識システム。
4. 前記各ワードユニットが緑色、黄色、または赤色で表示され、そのうち、緑が良好な音声認識品質を有することを表し、黄色が不良な音声認識品質を有することを警告し、赤色が劣悪な音声認識品質を有し、厳格な検査ならびに更正が必要であることを表すことを特徴とする請求項３記載の音声認識システム。
5. 前記各ワードユニットが、フィードバック調整選択項目組と連結し、該選択項目組が少なくとも１つのフィードバック調整選択項目を含み、使用者に選択させ、音声認識の誤りを更正させるか、音声認識システムをフィードバック調整させることを特徴とする請求項３記載の音声認識システム。
6. 前記表示装置上に表示するマウスポインタを、使用者がフィードバック調整したいワードユニット上に移動させるか、または、タッチパッドまたはマウスでポイントし、該フィードバック調整選択項目組を該表示装置上に表示させることを特徴とする請求項５記載の音声認識システム。
7. 前記ワードユニットと連結するフィードバック調整選択項目組が含むフィードバック選択項目が「次の選択肢」、「音声相似度優先に基づき音声認識選択肢を表示」、「全ての近似認識結果を表示」、「手書き入力に変更」、「キーボード入力に変更」または以上の任意の組み合わせであることを特徴とする請求項５記載の音声認識システム。
8. 前記信号インジケータインターフェイス上の音声認識完成状態の波形が更に少なくとも１つの波形ユニットを含み、各波形ユニットが、文字出力インターフェイスが表示する音声認識結果の１つのワードユニットと対応し、且つ相互に対照する方式で配列され、同一の色で該ワードユニットの音声認識品質を表示することを特徴とする請求項３または４記載の音声認識システム。
9. 前記信号インジケータインターフェイスの波形ユニットがフィードバック調整選択項目組と連結し、該選択項目組が少なくとも１つのフィードバック調整選択項目を含み、使用者に重複録音させ、録音を更正させ、音声認識の誤りを更正するか、音声認識システムをフィードバック調整することを特徴とする請求項８記載の音声認識システム。
10. 前記使用者が該表示装置上のマウスポインタをフィードバック調整の波形ユニット上に移動するか、タッチパッドまたはマウスでポイントし、該フィードバック選択項目組を該表示装置上に表示することを特徴とする請求項９記載の音声認識システム。
11. 前記フィードバック調整選択項目組が含むフィードバック調整選択項目が「再生」、「再録」、「受け入れ調整」、「手書き入力に変更」、「キーボード入力に変更」または以上の任意の組み合わせを含むことを特徴とする請求項９記載の音声認識システム。
12. 前記システムが表示装置を有するか、またはその他の表示装置を連結できるか、リモコン上に表示装置を有するデスクトップ型パソコン、ノート型パソコン、家庭用マルチメディアシステム、テレビ、ＤＶＤ、ＡＶシステム、携帯またはＰＤＡであることを特徴とする請求項１記載の音声認識システム。
13. 前記ワードユニットが言葉、助数詞、慣用句であることを特徴とする請求項９記載の音声認識システム。
    

Images