JP6805663B2 - 通信装置、通信システム、通信方法及びプログラム - Google Patents

Description

本発明は、通信品質が不安定なネットワークにおいても好適な通信装置、通信システム、通信方法及びプログラムに関する。

音声認識を利用することで、相手の会話の内容を正確に知ることができ、聞き取りが困難な環境下でも通話可能とする端末装置の技術が提案されている。（例えば、特許文献１）

特開２００３−１４３２５６号公報

上記特許文献に記載された技術は、受話側の装置の周囲が騒音環境である場合に、相手側から送られてきた音声に対する音声認識処理を行なって得たテキストデータを表示するものとしている。

ところで、通信インフラストラクチャが整っていない環境、例えば通信エリアの最外縁部に存在して安定した送受信ができない場合など、通信そのものが不安定で、音声データに部分的な欠落を生じるような状態では、上記特許文献に記載された技術も含めて、対処することができない。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、通信環境の通信品質が不安定なネットワークにおいても好適な通信装置、通信システム、通信方法及びプログラムを提供することにある。

本発明の一態様は、第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段と、上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段と、上記通信手段で受信したテキストデータによりテキストを表示する表示手段と、上記通信手段で受信した第１の音声情報からテキストデータを生成する音声テキスト化手段と、上記音声テキスト化手段で生成したテキストデータと、上記通信手段で受信したテキストデータとの一致判定を行なう判定手段と、を備え、上記表示手段は、上記判定手段により両テキストデータの不一致を判定した場合に、上記通信手段で受信したテキストデータを表示する。
また、本発明の他の一態様は、第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段と、上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段と、上記通信手段で受信したテキストデータによりテキストを表示する表示手段と、上記第１の発話者とは別の発話者の発話によって得られる第２の音声情報を入力する音声入力手段と、上記音声入力手段で入力した第２の音声情報からテキストデータを生成する音声テキスト化手段と、を備え、上記通信手段は、上記音声入力手段で入力した第２の音声情報と、上記音声テキスト化手段が生成したテキストデータとを送信する。

本発明によれば、通信環境の通信品質が不安定なネットワークにおいても好適な通信を行なうことが可能となる。

本発明の一実施形態に係る携帯情報端末を用いたグループ会話システム全体の構成を示す図。 同実施形態に係る携帯情報端末の電子回路の機能構成を示すブロック図。 同実施形態に係るテレビ電話機能での会話時に発話側端末で実行される音声に対する一連の処理内容を示すフローチャート。 同実施形態に係るテレビ電話機能での会話時に受話側端末で実行される音声に対する一連の処理内容を示すフローチャート。

以下、本発明をスマートフォン等の携帯情報端末を用いたグループ会話システムに適用した場合の一実施形態について、図面を参照して詳細に説明する。

図１は、同システム全体の構成を例示する図である。同図では、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含むネットワークＮＷを介して、複数台、例えば３台のスマートフォンやタブレット装置等の携帯情報端末１０（１０Ａ〜１０Ｃ）が接続され、それぞれの所有者であるユーザＡ〜Ｃが同一のグループ会話用のアプリケーションプログラムを起動して、会話を行なっている状態を示している。

ここでは、ユーザＡが発話者として発した「おはよう」なる音声が、携帯情報端末１０ＡからネットワークＮＷと携帯情報端末１０Ｂ，１０Ｃを介してユーザＢ，Ｃに伝えられた状態を示す。

これに対して携帯情報端末１０Ｂでは、ユーザＡの発話通り音声「おはよう」が出力され、ユーザＢはユーザＡが朝の挨拶を行なったことが理解できる。

一方で、通信回線の環境等により伝送途中の音声データに欠落が生じ、携帯情報端末１０Ｃでは、ユーザＡの音声の一部「よう」のみが出力され、ユーザＣはユーザＡが何を言ったのか、音声自体からは理解ができない様子を示している。

次に図２により、上記携帯情報端末１０（１０Ａ〜１０Ｃ）の電子回路の機能構成を説明する。同図において、表示部１１、タッチ入力部ＴＰ、キー操作部１２、音声入力部１３、音声出力部１４、ＣＰＵ１５、及び通信部１６がバスＢに接続される。

表示部１１は、バックライト付きの透過型カラー液晶ディスプレイとそれらの駆動回路とで構成され、ＣＰＵ１５を介して与えられる画像データを表示する。

タッチ入力部ＴＰは、上記表示部１１と一体的に設けられた透明電極膜により、ユーザの手指によるタッチ操作を検出して、入力座標情報をＣＰＵ１５へ送出する。

キー操作部１２は、電源キーを含む各種操作キーからなり、キー操作信号をＣＰＵ１５へ送出する。

音声入力部１３は、送話器を構成するマイクロホンと増幅回路、Ａ／Ｄ変換回路等から構成され、入力された音声信号をデジタル化する。

音声出力部１４は、ＰＣＭ音源と受話器を構成するスピーカとを備え、与えられるデジタルの音声データをアナログ化して該スピーカにより拡声放音させる。

ＣＰＵ１５は、メインメモリ１７及びプログラムメモリ１８を直接接続する。ＣＰＵ１５は、プログラムメモリ１８に記憶されている動作プログラムや各種固定データ等を読出し、メインメモリ１７上に展開記憶した上で当該動作プログラムを実行することで、この携帯情報端末１０全体の動作制御を実行する。

プログラムメモリ１８が記憶する動作プログラムには、デジタルの音声データを音声認識処理してテキストデータに変換する音声／テキスト変換プログラム１８Ａを含む。この音声／テキスト変換プログラム１８Ａは、入力された音声に対する音声認識処理、構文解析処理等を行なうことで、音声からテキストデータを生成する。

通信部１６は、第３世代及び第４世代の移動通信システム、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎ規格等の無線ＬＡＮシステム、及びＢｌｕｅｔｏｏｔｈ（登録商標）を含む近距離無線通信システムに対応して、最寄りの基地局や無線ＬＡＮルータ等と複合アンテナ１９を介してデータの送受を行なう。

次に上記実施形態での動作について説明する。
図３は、携帯情報端末１０Ａ〜１０Ｃの間で共通のアプリケーションプログラムを実行してグループ会話機能での会話を行なう際に、発話側となる端末で実行される音声に対する処理内容を示すフローチャートである。

同処理は、携帯情報端末１０内のＣＰＵ１５が、上記プログラムメモリ１８に記憶される動作プログラムその他を読出し、メインメモリ１７に展開して記憶させた上で実行する、基本的な音声の送話処理である。
その処理当初にＣＰＵ１５は、音声入力部１３を介して発話者からの音声を入力し（ステップＳ１０１）、随時デジタルデータ化して時系列に沿った複数の音声データパケットを作成する（ステップＳ１０２）。

併せてＣＰＵ１５は、当該音声データパケットを音声／テキスト変換プログラム１８Ａを用いて順次テキストデータ化する（ステップＳ１０３）。

この際にＣＰＵ１５は、音声が途切れる「間」を認識するか、あるいはテキストデータにおける句読点認識を行なうことで、発話者の発した一連の音声の繋がりを認識したテキストデータを得る。

例えば上記図１で示したようにユーザＡが音声「おはよう」と発した場合に、その音声の前後に位置する間から、一連のテキストデータ「おはよう」を得る。

そこでＣＰＵ１５は、音声「おはよう」から作成した複数の音声データパケットそれぞれに、一連のテキストデータ「おはよう」を重複するように付加した上で、通信部１６及び複合アンテナ１９により上記ネットワークＮＷを介して会話の相手となる端末に向けて送信させ（ステップＳ１０４）、以上で発話側の処理を一旦終了して、次の処理に備える。

このように音声から作成した複数の音声データパケットそれぞれに、一連のテキストデータを重複するように付加することで、通信環境の通信品質が不安定なネットワークにおいて、データ量の重い音声データパケットの一部が伝送路上で欠落した場合であっても、データ量の軽いテキストデータを正しく伝送させるためである。

図４は、携帯情報端末１０Ａ〜１０Ｃの間で共通のアプリケーションプログラムを実行してグループ会話機能での会話を行なう際に、受話側となる端末で実行される音声に対する処理内容を示すフローチャートである。

同処理も、携帯情報端末１０内のＣＰＵ１５が、上記プログラムメモリ１８に記憶される動作プログラムその他を読出し、メインメモリ１７に展開して記憶させた上で実行する、基本的な音声の受話処理である。
その処理当初にＣＰＵ１５は、ネットワークＮＷを介して複合アンテナ１９、通信部１６により音声とテキストデータが付加された音声のデータパケットを順次受信し（ステップＳ２０１）、音声出力部１４で一連の音声データを再生して受話器を構成するスピーカにより放音させる（ステップＳ２０２）。受信したテキストデータはメインメモリ１７に保持しておく。

このときＣＰＵ１５は、上記スピーカから放音される音声を同時に音声入力部１３によりマイクロホンを用いてピックアップし（ステップＳ２０３）、ピックアップした音声をデジタルデータ化、データパケット化した上で、音声／テキスト変換プログラム１８Ａにより音声認識処理、構文解析処理等を行なってテキストデータに変換させる（ステップＳ２０４）。

こうして、受信した音声に付加されていたテキストデータと、放音した音声をテキストデータ化したものとの一致比較を行なうべく、一致率を算出する（ステップＳ２０５）。

ここでＣＰＵ１５は、両テキストデータの一致率が、予め設定された閾値としての一致率、例えば９５％以上であるか否かにより、受信した音声に欠落を生じていないかどうかを判断する（ステップＳ２０６）。

上述した一致率の閾値は、発話側と受話側の双方の周囲の騒音環境等の相違により、音声認識処理で音声をテキストデータ化する際に、認識結果としてのテキストデータに一部相違した内容が生じることを考慮した値である。

両テキストデータの一致率が９５％以上であり、受信した音声に欠落は生じていないと判断した場合（ステップＳ２０６のＹｅｓ）、ＣＰＵ１５は上記ステップＳ２０２での受話内容の放音が正しいものとして、そのままこの図４の処理を一旦終了し、次の処理に備える。

また上記ステップＳ２０６において、両テキストデータの一致率が９５％未満であり、受信した音声の一部に欠落が生じていると判断した場合（ステップＳ２０６のＮｏ）、ＣＰＵ１５は欠落を生じている部分を含んで時間的な前後一定量、例えば今回受信した音声の１フレーズ（句）と、その直前に同一の発話者から受信した音声の１フレーズ分のテキストデータを、予め設定されているフォントデータにより文字列として画像データ化して表示部１１で表示させて（ステップＳ２０７）、以上でこの図４の処理を一旦終了し、次の処理に備える。

このように、受信した音声に欠落は生じていないと判断した場合には、音声の放音による会話で充分であるものとして、受信したテキストデータに基づく表示部１１での表示は行なわない一方で、受信した音声に欠落が生じていると判断した場合には、音声の放音と併せて、受信したテキストデータに基づく表示部１１での表示を行なうことにより、会話を継続しながら、受話音声の一部に欠落が発生した場合でも即時対応するテキスト表示を表示部１１で実行し、円滑な会話の流れを阻害せずに継続することができる。
なお上記実施形態は、第３世代乃至第４世代の移動通信システム等の無線によりネットワークＮＷに接続するものとして説明したが、有線によりネットワークＮＷに接続するものとしてもよい。
また上記実施形態は、携帯情報端末１０（１０Ａ〜１０Ｃ）に発話側と受話側の両機能を備えるものとして説明したが、発話側単体機能装置と受話側単体機能装置を用いた単方向の通信システムとしてもよい。

以上詳述した如く本実施形態によれば、通信環境によって送受するデータに欠落が生じた場合でも、円滑な会話を継続することが可能となる。

また上記実施形態では、通信により音声の一部に欠落が生じたか否かを判定し、欠落が生じた場合に受信したテキストデータに基づく表示を行なうものとしたので、受話側では、受信した音声が途切れていても確実に会話の内容を確実に認識できる。

さらに上記実施形態では、発話側が発話時に音声内容からテキストデータを生成する機構を、受話時に送られてきた音声内容からテキストデータを生成する機構としても兼用する構成としたので、装置の構成を重複することなく簡略化できる。

特に上記実施形態では、受話側で発話者からの音声を放音する際に同時にその音声をピックアップしてテキストデータ化し、部分的な欠落の判断を行なう材料とすることにより、処理に無駄がなく自然な処理体系で欠落を判断できる。

加えて上記実施形態では、部分的な欠落が生じていないと判断した場合には、受信したテキストデータに基づくテキスト表示をあえて行なわないものとしたので、通信環境によって部分的に欠落なく会話が円滑に行なわれている場合にはテキストの表示動作を省略することで、無駄な電力消費を避け、特に電力消費量に制限がある携帯情報機器の電源電力を有効に活用できる。

また上記実施形態では、音声のデータをパケット化して送受するシステム及び装置に適用するものとしたので、標準プロトコルとしてＴＣＰ／ＩＰを用いるインターネットなどの多くのデジタル通信網を含むデータネットワークに容易に適合して実施することが可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段と、
上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段と、
上記通信手段で受信したテキストデータによりテキストを表示する表示手段と、
を備える通信装置。
［請求項２］
上記通信手段で受信した第１の音声情報からテキストデータを生成する音声テキスト化手段と、
上記音声テキスト化手段で生成したテキストデータと、上記通信手段で受信したテキストデータとの一致判定を行なう判定手段と、
をさらに備え、
上記表示手段は、上記判定手段により両テキストデータの不一致を判定した場合に、上記通信手段で受信したテキストデータを表示する
請求項１記載の通信装置。
［請求項３］
上記通信手段で受信した第１の音声情報からテキストデータを生成する音声テキスト化手段と、
上記第１の発話者とは別の発話者の発話によって得られる第２の音声情報を入力する音声入力手段と、をさらに備え、
上記音声テキスト化手段は、上記音声入力手段で入力した第２の音声情報からテキストデータを生成し、
上記通信手段は、上記音声入力手段で入力した第２の音声情報と、上記音声入力手段で入力した第２の音声情報から上記音声テキスト化手段が生成したテキストデータとを送信する
請求項１記載の通信装置。
［請求項４］
上記音声入力手段は、上記音声出力手段が出力する上記第１の発話者の音声から得られる第１の音声情報を入力し、
上記音声テキスト化手段は、上記音声入力手段で入力した第１の音声情報からテキストデータを生成する
請求項３記載の通信装置。
［請求項５］
上記表示手段は、上記判定手段により両テキストデータの一致を判定した場合に、上記通信手段で受信したテキストデータを表示しない請求項２乃至４いずれか記載の通信装置。
［請求項６］
上記第１の音声情報及び上記第２の音声情報はパケット化されて上記通信手段により送受される請求項３または４記載の通信装置。
［請求項７］
発話者の発話によって得られる音声情報を入力する音声入力手段と、
上記音声入力手段で入力した音声情報からテキストデータを生成する音声テキスト化手段と、
上記音声入力手段で入力した音声情報と、上記音声入力手段で入力した音声情報から上記音声テキスト化手段が生成したテキストデータとを送信する通信手段と、
を備える通信装置。
［請求項８］
ネットワーク接続された複数の通信装置を有する通信システムであって、
発話側の通信装置は、発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受話側の通信装置に送信し、
受話側の通信装置は、上記第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信し、受信した上記第１の音声情報により音声を出力すると共に、受信したテキストデータによりテキストを表示する
通信システム。
［請求項９］
通信システムに用いる装置での通信方法であって、
第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信工程と、
上記通信工程で受信した上記第１の音声情報により音声を出力する音声出力工程と、
上記通信工程で受信したテキストデータによりテキストを表示する表示工程と、
を有する通信方法。
［請求項１０］
通信システムに用いる装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段、
上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段、及び
上記通信手段で受信したテキストデータによりテキストを表示する表示手段、
として機能させるプログラム。

１０、１０Ａ〜１０Ｃ…携帯情報端末、
１１…表示部、
１２…キー操作部、
１３…音声入力部、
１４…音声出力部、
１５…ＣＰＵ、
１６…通信部、
１７…メインメモリ、
１８…プログラムメモリ、
１８Ａ…音声／テキスト変換プログラム、
１９…複合アンテナ、
Ｂ…バス、
ＮＷ…ネットワーク、
ＴＰ…タッチ入力部。

Claims (9)

1. 第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段と、
   上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段と、
   上記通信手段で受信したテキストデータによりテキストを表示する表示手段と、
   上記通信手段で受信した第１の音声情報からテキストデータを生成する音声テキスト化手段と、
   上記音声テキスト化手段で生成したテキストデータと、上記通信手段で受信したテキストデータとの一致判定を行なう判定手段と、
   を備え、
   上記表示手段は、上記判定手段により両テキストデータの不一致を判定した場合に、上記通信手段で受信したテキストデータを表示する
   ことを特徴とする通信装置。
2. 第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段と、
   上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段と、
   上記通信手段で受信したテキストデータによりテキストを表示する表示手段と、
   上記第１の発話者とは別の発話者の発話によって得られる第２の音声情報を入力する音声入力手段と、
   上記音声入力手段で入力した第２の音声情報からテキストデータを生成する音声テキスト化手段と、
   を備え、
   上記通信手段は、上記音声入力手段で入力した第２の音声情報と、上記音声テキスト化手段が生成したテキストデータとを送信する
   ことを特徴とする通信装置。
3. 上記音声入力手段は、上記音声出力手段が出力する上記第１の発話者の音声から得られる第１の音声情報を入力し、
   上記音声テキスト化手段は、上記音声入力手段で入力した第１の音声情報からテキストデータを生成する
   ことを特徴とする請求項２記載の通信装置。
4. 上記表示手段は、上記判定手段により両テキストデータの一致を判定した場合に、上記通信手段で受信したテキストデータを表示しないことを特徴とする請求項１記載の通信装置。
5. 上記第１の音声情報及び上記第２の音声情報はパケット化されて上記通信手段により送受される請求項２または３記載の通信装置。
6. ネットワーク接続された複数の通信装置を有する通信システムであって、
   発話側の通信装置は、発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受話側の通信装置に送信し、
   受話側の通信装置は、上記第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信し、受信した上記第１の音声情報により音声を出力すると共に、受信したテキストデータによりテキストを表示し、前記受話側における発話によって得られる第２の音声情報と、当該第２の音声情報から生成されたテキストデータとを前記発話側の通信装置に送信する
   ことを特徴とする通信システム。
7. 通信システムに用いる装置での通信方法であって、
   第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信工程と、
   上記通信工程で受信した上記第１の音声情報により音声を出力する音声出力工程と、
   上記通信工程で受信したテキストデータによりテキストを表示する表示工程と、
   上記第１の発話者とは別の発話者の発話によって得られる第２の音声情報を入力する音声入力工程と、
   上記音声入力工程で入力した第２の音声情報からテキストデータを生成する音声テキスト化工程と、
   を有し、
   上記通信工程は、上記音声入力工程で入力した第２の音声情報と、上記音声テキスト化工程で生成されたテキストデータとを送信する
   ことを特徴とする通信方法。
8. 通信システムに用いる装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
   第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段、
   上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段、
   上記通信手段で受信したテキストデータによりテキストを表示する表示手段、
   上記通信手段で受信した第１の音声情報からテキストデータを生成する音声テキスト化手段、
   上記音声テキスト化手段で生成したテキストデータと、上記通信手段で受信したテキストデータとの一致判定を行なう判定手段、
   として機能させ、
   上記表示手段は、上記判定手段により両テキストデータの不一致を判定した場合に、上記通信手段で受信したテキストデータを表示する
   ことを特徴とするプログラム。
9. 通信システムに用いる装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
   第１の発話者の発話によって得られる第１の音声情報と、当該第１の音声情報から生成されたテキストデータとを受信する通信手段、
   上記通信手段で受信した上記第１の音声情報により音声を出力する音声出力手段、
   上記通信手段で受信したテキストデータによりテキストを表示する表示手段、
   上記第１の発話者とは別の発話者の発話によって得られる第２の音声情報を入力する音声入力手段、
   上記音声入力手段で入力した第２の音声情報からテキストデータを生成する音声テキスト化手段、
   として機能させ、
   上記通信手段は、上記音声入力手段で入力した第２の音声情報と、上記音声テキスト化手段で生成されたテキストデータとを送信する
   ことを特徴とするプログラム。