JP4978982B2 - 携帯情報端末、文字入力支援プログラム及び方法 - Google Patents

Description

本発明は、例えば携帯電話端末のように少なくとも音声通話と文字入力が可能な携帯情報端末と、その携帯情報端末の文字入力支援プログラム及び方法に関する。

従来より、例えば携帯電話端末などの携帯情報端末には、筐体の小型化と軽量化が求められている。したがって、このような携帯情報端末においては、ユーザインターフェイスのための操作デバイス用のスペースを多くとることが困難となっている。

その一方で、近年は、一般的なパーソナルコンピュータと同様に、これら携帯情報端末においても、文字入力・編集機能やインターネットへ接続してウェブページを表示するなどの機能が必須になっている。

特に、携帯電話端末の場合、最近の利用状況調査によると、平均通信回数はメール通信回数が通話の通信回数を上回っている。このことから、携帯電話端末では、文字の入力・編集が重要な機能の一つになっていることが認識できる。

また、最近の携帯電話端末は、ユーザによる文字入力の際の負担を減らすための機能として、いわゆる予測変換機能が標準搭載されるようになってきている。

なお、特開２００４−９６５０２号の公開特許公報（特許文献１）には、録音データの音声認識を行って文書データへ変換する技術が開示されている。したがって、この公報記載の技術を例えば携帯電話端末の文字入力の支援技術として用い、入力したい文章を音声により録音し、その録音データを文書データへ変換するようなことを行えば、従来のテンキー等の押下による文章入力操作が不要になると考えられる。

特開２００４−９６５０２号公報

ところで、上述した予測変換機能を利用した文字入力の場合、ディスプレイ画面上に表示される予測変換の候補は、予め用意された予測候補辞書データベースから参照されたり、過去の入力等に基づく学習辞書データベースから参照されるものとなされている。

このため、例えば携帯電話端末を用いて電子メール文を作成するような場合において、例えば或る時点で入力文字「Ａ」に対して辞書データベースから参照されてディスプレイ画面上に表示される予測変換候補が例えば「Ｂ」「Ｃ」「Ｄ」…であったとすると、その電子メールの送信相手先が例えば家族や友人、仕事上のつき合いがある人など、何れの相手であったとしても、その入力文字「Ａ」に対する予測変換候補として辞書データベースから参照される候補は上記「Ｂ」「Ｃ」「Ｄ」…になってしまう。

したがって、それらディスプレイ画面上に表示された予測変換候補が電子メールの相手先に合っていない候補である場合、ユーザは、相手先に合わせた電子メール文を作成するために、別の新たな予測変換候補を表示させるような操作を行ったり、所望の文字や単語を自ら手入力するような作業を行わなければならなくなる。

一方、例えばユーザ辞書として複数の予測候補辞書データベースを設け、それぞれに所望の文字や単語等を登録するようにし、それらユーザ辞書を例えば電子メールの相手先毎に切り換えて使用するようなことも考えられるが、そのような複数のユーザ辞書登録と相手先に応じた辞書の切り換えを行うことは非常に手間がかかる作業であり、また例えば、複数のユーザ辞書を登録できた場合であっても、その辞書をより使い易くするためには、常にそれら辞書を更新していかなければならず、その更新作業にも多くの手間と時間がかかることになり、実用的とは到底言い難い。

本発明は、このような実情に鑑みて提案されたものであり、文字入力時におけるユーザの作業負担を軽減できると共に、辞書データベースから参照される候補の最適化を可能とし、ユーザにとってより使い易い文字入力支援を実現可能とする携帯情報端末、文字入力支援プログラム及び方法を提供することを目的とする。

本発明の携帯情報端末は、会話音声データを記憶する記憶部と、会話音声データの音声認識により、会話音声データにおける会話の中の単語を抽出する単語抽出部と、その抽出された単語を、会話の時間帯と会話を行った相手先と会話中で単語が出現する頻度との少なくとも一つと共にデータベース化して登録するデータベース部と、ユーザが会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力を行う際に、その入力中の電子メール文に使用されている単語を元に、データベースの時間帯と相手先と頻度との少なくとも一つを参照して電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索する候補検索部と、その検索された予測変換候補をユーザに提示する提示部とを有することにより、上述した課題を解決する。

また、本発明の文字入力支援プログラムは、会話音声データを記憶する記憶部と、会話音声データの音声認識により、会話音声データにおける会話の中の単語を抽出する単語抽出部と、その抽出された単語を、会話の時間帯と会話を行った相手先と会話中で単語が出現する頻度との少なくとも一つと共にデータベース化して登録するデータベース部と、ユーザが会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力を行う際に、その入力中の電子メール文に使用されている単語を元に、データベースの時間帯と相手先と頻度との少なくとも一つ参照して電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索する候補検索部と、その検索された予測変換候補を提示部に提示させる提示制御部として、携帯情報端末のコンピュータを機能させることにより、上述した課題を解決する。

また、本発明の文字入力支援方法は、会話音声データを記憶するステップと、会話音声データから音声認識により、会話音声データにおける会話の中の単語を抽出するステップと、その抽出された単語を、会話の時間帯と会話を行った相手先と会話中で単語が出現する頻度との少なくとも一つと共にデータベース化して登録するステップと、ユーザが会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力を行う際に、その入力中の電子メール文に使用されている単語を元に、データベースの時間帯と相手先と頻度との少なくとも一つを参照して電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索するステップと、その検索された予測変換候補をユーザに提示するステップとを有することにより、上述した課題を解決する。

すなわち、本発明によれば、会話音声データから抽出した単語を、会話の時間帯と会話を行った相手先と会話中で単語が出現する頻度との少なくとも一つと共にデータベース化し、会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力が行われる際に、その入力中の電子メール文に使用されている単語を元に、データベースの時間帯と相手先と頻度との少なくとも一つを参照して電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索するため、会話内容に合った予測候補単語を提示することができる。

本発明によれば、会話音声データから抽出した単語を、会話の時間帯と会話を行った相手先と会話中で単語が出現する頻度との少なくとも一つと共にデータベース化し、会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力が行われる際に、その入力中の電子メール文に使用されている単語を元に、データベースの時間帯と相手先と頻度との少なくとも一つを参照して電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索するため、会話内容に合った最適な予測候補単語を提示することができ、したがって、文字入力時におけるユーザの作業負担を軽減できると共に、ユーザにとってより使い易い文字入力支援が実現されている。

以下、図面を参照しながら、本発明の携帯情報端末、文字入力支援プログラム及び方法の一実施形態について説明する。

なお、本実施形態では、本発明の携帯情報端末の一例として、携帯電話回線を使用して少なくとも音声通話が可能となされた携帯電話端末を挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。

〔概要〕
本発明実施形態の携帯電話端末では、ユーザが通話を行っている際に発話と受話のそれぞれの通話音声のデータを内蔵大容量記憶装置に記憶させ、例えば待ち受け状態でバッテリ残量に余裕があるような空き時間内に当該記憶した通話音声の音声認識を行い、その音声認識にて得られた上記通話音声の会話内容に多く含まれる単語を抽出し、その単語を、出現頻度や時間帯別の頻度分布、時間的に近接した他の関連した単語、それら他の関連単語における時間的な近接度の高低、通話相手などの情報と関連付けしたデータベース（以下、通話関連データベースと表記する。）を作成する。

そして、ユーザが文字入力を行う際の予測変換候補の参照先として、通常の予測変換辞書データベースと共に上記通話関連データベースを用い、予測変換の候補となる単語をユーザに提示する。

これにより、本実施形態の携帯電話端末では、ユーザが例えば電子メール文を作成するための文字入力を行う際などに、当該電子メールの相手先に最適化した予測変換候補をユーザに提示可能となり、その結果、ユーザは、より少ない文字入力動作で所望の文章を作成することができるようになる。

なお、通話関連データベースには、当該携帯電話端末の電話帳やアドレス帳の項目（例えば通話相手名、住所、生年月日、趣味など）を加えることも可能である。また、過去に入力した文字（例えば送受信済みの電子メール文内の単語）を組み合わせて通話関連データベースを構築することも可能である。また、予測変換候補の検出の際には、現在の日付や曜日、スケジュール、マナーモードなど現在設定中のモード、ＧＰＳ（Global Positioning System）により検出されている位置情報、現在接続中の基地局の情報などを元に、ユーザの現在状態を推測し、その推測に応じた予測変換候補を提示するようにしても良い。

〔ユースケース〕
本実施形態の携帯電話端末のユースケースとして、図１には、携帯電話端末を用いてユーザ１が友人２との間でイタリア旅行の計画の会話（通話）を行ったような場合を例に挙げる。

この図１に示すユースケースにおいて、本実施形態の携帯電話端末は、上記イタリア旅行の計画のための通話時における発話と受話のそれぞれの会話音声データを記憶し、その後、例えば待ち受け状態でバッテリ残量に余裕がある空き時間内に、当該記憶した通話音声の音声認識を行って当該通話音声の会話内容に多く含まれる単語を抽出する。ここで、図１のユースケースのようなイタリア旅行の計画に関する会話では、例えば「旅行」、「イタリア」、「料理」など、旅行に関する単語が頻出することになり、したがって、本実施形態の携帯電話端末は、それら頻出する単語を、その会話を構成する重要なキーワードであるとして抽出し、それら単語を頻度，時間帯，通話相手等に関連付けして通話関連データベースに登録する。

そして、その後、例えばユーザ１が友人２を送信相手先として上記イタリア旅行計画についての電子メールを作成するような場合、本実施形態の携帯電話端末は、通常の予測変換辞書データベースと共に上記通話関連データベースを参照する。これにより、本実施形態の携帯電話端末のディスプレイ画面３上には、ユーザ１が入力しようとしている友人２宛の電子メール文に最適な予測変換候補として、上述した「旅行」、「イタリア」、「料理」などの単語が優先的に次々と提示されるようになり、その結果、ユーザ１は、相手先である友人２に合わせた電子メール文を、少ない作業で迅速且つ容易に作成することが可能となる。

また、本実施形態の携帯電話端末は、上述したユースケースのような電子メール文の作成時だけでなく、例えばスケジュール管理，メモ帳，ウェブページ閲覧時の文字入力の際など、様々な文字入力時にも、上述した通話関連データベースを使用可能となされている。

本実施形態の携帯電話端末の別のユースケースとして、図２には、携帯電話端末を用いてユーザ４が例えば会社の上司５との間で、会議のスケジュールに関する会話（通話）を行った場合を例に挙げる。

この図２のユースケースにおいて、本実施形態の携帯電話端末は、会議のスケジュールに関する通話時の発話と受話のそれぞれの音声データを記憶し、その後、例えば待ち受け状態でバッテリ残量に余裕がある空き時間内に、当該記憶した通話音声の音声認識を行い、その通話音声の会話内容に多く含まれる単語を抽出する。ここで、図２のユースケースのような会議のスケジュールに関する会話では、例えば「Ｆ会議室」、「打ち合わせ」、「製品Ｅ」など、会議に関する単語が頻出することになり、したがって、本実施形態の携帯電話端末は、それら頻出する単語を、その会話を構成する重要なキーワードであるとして抽出し、それら単語を頻度，時間帯，通話相手等に関連付けして通話関連データベースに登録する。

そしてその後、例えばユーザ４が携帯電話端末のスケジュール帳機能を用いて会議のスケジュールを登録するための文字入力を行うような場合、本実施形態の携帯電話端末は、通常の予測変換辞書データベースと共に上記通話関連データベースを参照する。これにより、例えばユーザ４がスケジュール帳に日時を入力したような場合、本実施形態の携帯電話端末のディスプレイ画面６上には、そのスケジュールに最適な予測変換候補として、上述した「Ｆ会議室」、「打ち合わせ」、「製品Ｅ」のような、会議の場所や内容などに関する単語が優先的に次々と提示されるようになり、その結果、ユーザ４は、会議に関するスケジュールの入力を、少ない作業で迅速且つ容易に作成することが可能となる。

図３には、例えば図２のユースケースで登録された通話関連データベースの一例を示す。

この図３の例において、通話関連データベースには、一例として、「単語の読み仮名」（図３では単に「単語」と表記している。）、「単語の漢字」（図３では単に「漢字」と表記している。）、「単語の頻度」（図３では単に「頻度」と表記している。）、「通話相手」、「関連単語」、「受話（発話）データ番号」等の各項目が登録される。「単語の読み仮名」には、通話音声から音声認識により得られた単語の読み仮名が登録される。「単語の漢字」には、当該単語の読み仮名に対応した漢字が登録される。この図３の例のように、通話関連データベースは、同音異義語にも対応可能となされている。「単語の頻度」には、当該単語が通話内に登場した頻度レベルを表す「ａ」，「ｂ」，「ｃ」，…等が登録され、本実施形態では、レベル「ａ」が最も高いレベルを表し、以下、レベル「ｂ」，「ｃ」の順にレベルが低くなっている。また、「単語の頻度」には、「朝」，「昼」，「夜」の何れの時間帯に、当該単語が多く登場したのかについても「高」，「中」，「低」のレベルが付けられて登録される。「通話相手」には、通話中に当該単語を使用した通話相手が登録され、例えば携帯電話端末内の電話帳或いはアドレス帳の相手先名と対応付けられて登録される。「関連単語」には、通話内において当該単語と関連して登場した別の単語（例えば時間的に近接した別の単語）等が登録される。「発話（受話）データ番号」には、その通話内における発話音声データのファイル番号と受話音声データのファイル番号が登録される。携帯電話端末の大容量記憶装置では、当該ファイル番号により音声データの管理が行われる。

〔ハードウェア構成〕
図４には、上述したことを実現可能な本実施形態の携帯電話端末の概略的な内部構成を示す。

図４において、データラインは、音声データや電子メールデータ、画像データなの各種データを伝送するための伝送ラインである。

制御ラインは、ＣＰＵ（中央処理ユニット）により構成されている制御部３０からの制御データなどの各種制御情報を伝送するための伝送ラインである。

アンテナ３２は、通信回路３１に接続され、通話や電子メール通信、インターネット接続などの際の信号電波を送受信するのに用いられる。

通信回路３１は、送受信信号の周波数変換、変調と復調等を行う。

ここで、上記アンテナ３２及び通信回路３１にて受信された通話音声データ（受話音声データ）は音声処理部４２へ送られ、それ以外の受信データは、制御部３０へ送られて適切に処理された後、必要に応じて当該制御部３０から各部へ送られる。なお、受話音声以外の受信データは、パケット通信にかかるデータであり、例えば電子メールデータ、動画像や静止画の画像データ、音楽等のデータ、ＨＴＭＬ（Hyper Text Markup Language）データ、プログラムコードのデータ等を挙げることができる。

上記アンテナ３２及び通信回路３１から受話音声データが供給された時の音声処理部４２は、当該受話音声データを復号化し、その復号化後の受話音声データをアナログ音声信号に変換し、そのアナログ受話音声信号をスピーカ４０若しくは図示しないイヤホンジャックへ送る。

また、本実施形態の場合、音声処理部４２により復号化された受話音声データは、電話番号などの通話相手先を特定可能な情報やその通話日時情報などと関連付けられて大容量記憶装置４５に記憶される。なお、相手先特定情報（電話番号等）や通話日時情報は、メモリ部３５に保存されても良い。

スピーカ４０は、上記音声処理部４２から供給されたアナログ受話音声信号を内部増幅器により増幅した後、その受話音声信号を可聴音声に変換して外部に出力する。これにより、スピーカ４０からは受話音声が出力されることになる。

マイクロホン４１は、発話音声をアナログ音声信号に変換すると共に、内部増幅器により増幅し、さらにそのアナログ発話音声信号を音声処理部４２に送る。

上記マイクロホン４１からアナログ発話音声信号が供給された時の音声処理部４２は、その発話音声信号をディジタル発話音声データに変換した後に符号化し、さらにその符号化後の発話音声データを通信回路３１へ送る。これにより、アンテナ３２からは発話音声データが送信されることになる。

また、本実施形態の場合、音声処理部４２によりディジタル化された発話音声データは、通話相手先特定情報（電話番号等）やその通話日時情報などと関連付けられて、大容量記憶装置４５に記憶される。なお、この場合も上記相手先特定情報（電話番号等）や通話日時情報はメモリ部３５に保存されても良い。

大容量記憶装置４５は、ハードディスクドライブ（ＨＤＤ）や、フラッシュメモリ等の大容量の不揮発性半導体メモリからなり、上述した相手先特定情報（電話番号等）や通話日時情報と関連付けられている受話音声データや発話音声データを記憶する。当該大容量記憶装置４５に記憶された発話音声データや受話音声データは、当該携帯電話端末が例えば待ち受け状態になっている場合のように制御部３０の処理負荷が少なく、且つ、バッテリ残量に余裕がある時に読み出されて、制御部３０へ送られることになる。

そして、この時、制御部３０は、それら音声データに対する音声認識処理を行い、その音声認識にて得られた通話音声に含まれる単語を抽出し、それら抽出した単語の頻度や時間帯，通話相手などを関連付けてデータベース化し、その通話関連データベースを例えばメモリ部３５内の不揮発性メモリへ保存させる。なお、通話関連データベースの保存先は、大容量記憶装置４５であっても良い。その他、制御部３０は、上記大容量記憶装置４５の空き容量が少なくなった場合に、上記音声認識処理等が終了した通話音声データを当該大容量記憶装置４５から削除することも行う。

表示部３３は、液晶ディスプレイ等の表示デバイス及び表示駆動回路を備え、ディスプレイの画面上に画像や文字等を表示する。

操作部３４は、テンキー（キーボード）や電源ボタン、発話／終話ボタン、ジョグダイヤルなどの操作子とそれら操作子が操作された時の操作信号を発生する操作信号発生器とからなる。ユーザは、この操作部３４を操作することで、通話のための発着呼や電子メール文の作成、電子メールの送受信、インターネットへの接続等を行う。

画像処理部４３は、制御部３０による制御の元で内蔵メモリから読み出された圧縮符号化されている画像データを伸張復号化等し、その伸張復号後の画像データをデータラインを介して表示部３３へ送る。また、画像処理部４３は、図示しないカメラ部により撮影された静止画像や動画像のデータの圧縮符号化等を行い、その圧縮符号化された画像データを、制御部３０による制御の元で内蔵メモリに送って記憶させる。

メモリ部３５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＯＳ（Operating System）、制御部３０が各部を制御するための制御プログラムコード、各種の初期設定値、フォントデータ、辞書データ、着信音やキー操作音，アラーム音用の各種音データ、電子メールの作成や編集等を行うためのアプリケーション用のプログラムコード、画像や音声に対して様々な処理を行うためのアプリケーション用プログラムコード、本実施形態にかかる文字入力支援プログラムコード、その他、携帯電話端末に搭載される各種のアプリケーション用のプログラムコード、当該携帯電話端末の識別情報（ＩＤ）などを記憶している。なお、本実施形態において、本発明にかかる文字入力支援プログラムには、通話音声データの録音処理を実行するためのプログラムコード、音声認識処理と単語抽出処理を実行するためのプログラムコード、通話関連データベースを作成するためのプログラムコード、通話関連データベースを参照した候補単語提示処理を実行するためのプログラムコードなどが含まれる。このＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含み、電子メールデータ、電話帳や電子メールアドレス帳のデータ、本実施形態にかかる通話関連データベースのデータ、通常の予測変換の候補単語の辞書データ、文字入力時の学習データ、静画像や動画像データ、キー操作音，アラーム音用等の音データ、その他、各種のユーザ設定値等を保存することも可能となされている。ＲＡＭは、制御部３０が各種のデータ処理を行う際の作業領域として、随時データを格納する。

制御部３０は、ＣＰＵからなり、メモリ部３５に記憶されているＯＳや各種プログラムに基づいて、携帯電話端末の制御、本実施形態にかかる通話音声の録音処理、音声認識と単語抽出処理、通話関連データベースの作成や更新処理、通話関連データベースを参照した文字入力処理など、各種機能を実現するための制御や各種演算を行う。なお、音声認識処理については、音声処理部４２が担当しても良い。

その他、図４には図示を省略しているが、本発明の携帯電話端末は、ブラウザ機能、外部メモリインターフェース、外部ケーブル用コネクタ、赤外線通信機能、近距離無線通信機能、電子財布機能、カメラ機能、ＬＥＤ（発光ダイオード）の発光機能、ＧＰＳ機能、バイブレータ機能、バッテリ、電力制御機能など、一般的な携帯電話端末が備えている各構成要素についても備えている。

〔データフロー〕
図５には、本発明にかかる文字入力支援処理を実行する際の、上述の図４の主要な構成要素における基本的なデータフローを示す。なお、この図５は、通話関連データベースを大容量記憶装置４５に記憶させるようにした場合の例を挙げている。

図５において、先ず通話時において、制御部３０は、本発明の文字入力支援処理にかかる通話音声データ録音機能１５の実行により、マイクロホン４１を介して入力されて音声処理部４２にてディジタル化された発話音声データを、大容量記憶装置４５内の発話音声データ記憶エリア１９に記憶させ、また、通信回路３１により受信されて音声処理部４２にて復号化された受話音声データを、大容量記憶装置４５内の受話音声データ記憶エリア２０に記憶される。

次に、待ち受け状態などの非通話時で且つ他のＣＰＵ使用率が低く、バッテリ残量に余裕がある場合において、制御部３０は、本発明の文字入力支援処理にかかる音声認識及び単語抽出機能１６の実行により、上記大容量記憶装置４５の発話音声データ記憶エリア１９と受話音声データ記憶エリア２０から、発話音声データと受話音声データをそれぞれ読み出し、それらの音声認識処理と単語抽出処理を行う。そして、その抽出した単語を、頻度や時間帯及び通話相手、その他の関連する単語と共にデータベース化し、ユーザの設定に従ってソーティングした後、大容量記憶装置４５の通話関連データベース記憶エリア２１に登録する。ここで、ユーザの設定に従ったソーティングとしては、例えば頻度を優先、朝の時間帯を優先、特定の通話相手を優先，指定した会話内の単語のみを用いるなどの方法が考えられる。なお、通話関連データベースは、前述の図４の例のように、メモリ部３５に記憶されても良い。

その後、例えば電子メール文の作成や、スケジュール帳の編集、メモ帳への書き込みなど、操作部３４のキーボードを介してユーザが文章入力を行う際に、制御部３０は、本発明の文字入力支援処理にかかる候補単語提示機能１７の実行により、上記大容量記憶装置４５の通話関連データベース記憶エリア２１内の通話関連データベースを参照しながら、予測候補となる単語をユーザに提示する。

〔状態遷移〕
図６には、本発明にかかる文字入力支援処理の状態遷移図を示す。

図６において、本実施形態の携帯電話端末は、通話状態Ｓ２の時には、常に通話録音状態Ｓ３へ遷移して通話録音処理を行い、大容量記憶装置４５に発話音声データと受話音声データを逐次記憶する。

また、本実施形態の携帯電話端末は、待ち受け状態Ｓ１の時に、制御部３０のＣＰＵ使用率が低く且つバッテリ残量にも余裕がある場合には、単語抽出状態Ｓ４へ遷移し、大容量記憶装置４５に記憶されている音声データの音声認識処理と単語抽出処理を行い、さらに、その単語の出現頻度、時間帯、関連する別の単語等と共にデータベース化を行い、通話関連データベースの作成や更新を行う。

また、本実施形態の携帯電話端末は、ユーザが文字を行って文字入力状態Ｓ５となると、候補提示状態Ｓ６に遷移し、通話関連データベースを参照した予測変換候補をディスプレイへ提示する。

〔通話録音処理のフローチャート〕
図７には、本発明にかかる文字入力支援プログラムのうち、制御部２０が実行する通話音声データ録音処理プログラムのフローチャートを示す。

図７において、制御部２０は、通話のための発着信動作が行われ、ステップＳ１０の処理として通話が開始されると、ステップＳ１１の処理として、マイクロホン４１を通じて入力されてディジタル化された発話音声データ、つまり通話相手へ送る音声データを、大容量記憶装置４５へ記録する。

また同時に、制御部２０は、ステップＳ１２の処理として、通信回路３１を通じて受信した受話音声データ、つまり通話相手から送られてきた音声データを、大容量記憶装置４５へ逐次記録する。

その後、制御部２０は、ステップＳ１３にて通話が終了した場合には、携帯電話端末を待ち受け状態へ戻す。

〔音声認識と単語抽出及び通話関連データベースの作成・更新処理のフローチャート〕
図８には、本発明にかかる文字入力支援プログラムのうち、制御部２０が実行する音声認識処理と単語抽出処理及び通話関連データベースの作成・更新処理プログラムのフローチャートを示す。

図８において、制御部２０は、ステップＳ２０の処理として、大容量記憶装置４５に記録されている発話音声データ、受話音声データを読み出し、音声認識技術を用いてそれら音声データに対する音声認識処理を行い、さらに単語抽出を行う。

次に、制御部２０は、ステップＳ２１の処理として、抽出した単語の出現頻度、出現した時間帯、前後に続く他の関連単語を検出し、さらにステップＳ２２の処理として、それらの情報と共に主要な単語をデータベース化する。

その後、制御部２０は、ステップＳ２３の処理として、通話関連データベースを、ユーザが設定したモードに合わせてソーティングし、待ち受け状態の待機モードに戻る。

〔候補単語の提示処理のフローチャート〕
図９には、本発明にかかる文字入力支援プログラムのうち、文字入力時に制御部２０が通話関連データベースを参照して予測候補単語を提示する処理プログラムのフローチャートを示す。

図９において、制御部２０は、ユーザにより文字入力が行われると、ステップＳ３０の処理として、現在入力されている文字或いは既に入力済みの文字や単語等を検索キーとして、上記通話関連データベースを検索する。

次に、制御部２０は、ステップＳ３１の処理として、その検索にてヒットした単語を、ユーザの設定しているモードに合わせて、予測候補の単語としてディスプレイ上に提示する。

次に、制御部２０は、ステップＳ３２の処理として、上記提示した予測候補の単語をユーザが選択したか否か判断し、選択しなかった場合にはステップＳ３０へ処理を戻して新たな予測候補単語の検索と提示処理を行う。

一方、ステップＳ３２において、上記提示した予測候補の単語をユーザが選択したと判断した場合、制御部２０は、ステップＳ３３の処理として、その選択された単語の関連単語を、次の予測変換候補としてユーザに提示する。すなわち、候補の単語が選択された場合には、その選択した単語について、過去の通話で関連していた他の単語を次々と提示する。

次に、制御部２０は、ステップＳ３４の処理として、ユーザから文字入力の終了指示がなされたか否か判断し、終了指示がなされていない時にはステップＳ３２へ処理を戻し、終了指示がなされた時には、待ち受け状態の待機モードに戻る。

〔まとめ〕
以上説明したように、本発明実施形態の携帯電話端末によれば、通話音声から抽出した単語を、出現頻度や時間、通話相手、その他の単語と関連付けしてデータベース化し、文字入力時に、その通話関連データベースを参照して予測変換候補を提示するようになされているため、予測変換機能にて参照できるデータの範囲が広がり、高い性能の文字入力支援を実現することができる。

また、本実施形態の携帯電話端末によれば、通話音声から抽出した単語のデータベースを参照して予測変換候補を提示するため、例えば、過去に通話を行った相手との間の会話内容に関連した電子メール文の作成に最適な予測候補や、スケジュール帳，メモ帳など使用するアプリケーションに最適な予測候補を提示することができ、ユーザによる文字入力の負担を軽減することが可能となり、文字入力の高速化、例えば相手に会わせた文章作成、会話内容と文章内容を結びつけた文章作成が行えるようになる。特に、過去に通話を行った相手に送信する電子メールを作成する場合には、通話相手に会わせた単語、表現を使用することができるようになり、また、過去の会話内容と電子メール文の内容との食い違いを少なくすることができるようになる。

また、本実施形態の携帯電話端末によれば、通話関連データベースを、ユーザの設定に従ってソーティング可能となされているため、ユーザは通話関連データベースから候補を検索して提示するモードを、例えば、頻度を優先するモード、朝の時間帯を優先するモード、優先する通話相手を変更したモード、指定した会話内の単語のみとするモードなど、所望のモードに設定することができる。

なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明にかかる技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

例えば、本発明の携帯情報端末は、携帯電話端末に限定されず、通信機能を搭載したＰＤＡ等の各種の携帯情報端末にも適用可能である。

また、上述の実施形態では、予測変換候補を提示する例を挙げたが、例えばＨＴＭＬ形式の電子メール等のような自由度の高い電子メール文を作成するような場合には、大容量記憶装置４５に記憶している音声データの中から、キーワード付近の音声データを切り出して電子メールに添付するようなことも可能である。

また、本実施形態では、通話音声データを大容量記憶装置４５に記録しているため、例えば、文字入力中に、予測変換候補として提示されている単語の音声、若しくは当該単語とその前後の音声データ、或いはその単語に関連する音声データ等を大容量記憶装置４５から読み出して、スピーカ４０から出力させるようなことも可能となる。

また例えば、電子メール文の作成において、相手先が指定されていない時には、現在入力中の電子メール文に使用されている単語を元に、通話関連データベースを参照することにより、その電子メールの相手先を推定し、その推定された相手先に合う予測変換候補を通話関連データベースから参照するようなことも可能である。

その他、上述の実施形態では日本語を例に挙げたが、本発明は日本語以外の他の言語にも勿論対応可能である。

本発明実施形態のユースケースとして、携帯電話端末を用いてユーザが友人との間でイタリア旅行の計画の通話を行った場合の予測変換候補提示の一例を示す図である。 本発明実施形態のユースケースとして、携帯電話端末を用いてユーザが会社の上司との間で会議のスケジュールに関する通話を行った場合の予測変換候補提示の一例を示す図である。 図２のユースケースで登録された通話関連データベースの一例を示す図である。 本発明実施形態の携帯電話端末の概略的な内部構成を示すブロック図である。 本発明にかかる文字入力支援機能を実行する際の、本実施形態の携帯電話端末の主要な構成要素における基本的なデータフロー図である。 本発明にかかる文字入力支援処理の状態遷移図である。 本実施形態の携帯電話端末の制御部が実行する通話音声データ録音処理プログラムのフローチャートである。 本実施形態の携帯電話端末の制御部が実行する音声認識処理と単語抽出処理及び通話関連データベースの作成・更新処理プログラムのフローチャートである。 本実施形態の携帯電話端末の制御部が文字入力時に通話関連データベースを参照して予測候補単語を提示する処理プログラムのフローチャートである。

符号の説明

１，４ ユーザ、２ 友人、５ 上司、３，６ ディスプレイ画面、１５ 通話音声データ録音機能、１６ 音声認識及び単語抽出機能、１７ 候補単語提示機能、１９ 発話音声データ記憶エリア、２０ 受話音声データ記憶エリア、２１ 通話関連データベース記憶エリア、３０ 制御部、３１ 通信回路、３２ 通信用のアンテナ、３３ 表示部、３４ 操作部、３５ メモリ部、４０ スピーカ、４１ マイクロホン、４２ 音声処理部、４３ 画像処理部、４５ 大容量記憶装置

Claims (7)

1. 会話音声データを記憶する記憶部と、
   会話音声データの音声認識により、上記会話音声データにおける会話の中の単語を抽出する単語抽出部と、
   上記単語抽出部により抽出された単語を、上記会話の時間帯と上記会話を行った相手先と上記会話中で上記単語が出現する頻度の少なくとも一つと共にデータベース化して登録するデータベース部と、
   ユーザが上記会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力を行う際に、その入力中の電子メール文に使用されている単語を元に、上記データベースの上記時間帯と上記相手先と上記頻度との少なくとも一つを参照して上記電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索する候補検索部と、
   上記候補検索部により検索された予測変換候補をユーザに提示する提示部と
   を有する携帯情報端末。
2. 上記単語抽出部は、他の処理の実行の有無とバッテリ残量に基づいて、上記会話音声データの音声認識及び単語抽出を実行するか否か判断する請求項１記載の携帯情報端末。
3. 候補検索部は、ユーザ設定に応じて、上記データベースから予測変換候補を検索する際の検索モードを決定する請求項１記載の携帯情報端末。
4. 携帯電話回線を通じて少なくとも通話のための通信を行う通信部を有し、
   上記記憶部は、上記携帯電話回線を通じた通話による会話音声データを記憶する請求項１記載の携帯情報端末。
5. 上記記憶部は、上記携帯電話回線を通じた通話による会話音声データを発話音声と受話音声に分けて記憶し、
   上記単語抽出部は、上記発話音声と受話音声を個々に音声認識して単語を抽出し、
   上記データベース部は、上記発話音声と受話音声とで個々に抽出された単語をデータベース化する請求項４記載の携帯情報端末。
6. 会話音声データを記憶する記憶部と、
   会話音声データの音声認識により、上記会話音声データにおける会話の中の単語を抽出する単語抽出部と、
   上記単語抽出部により抽出された単語を、上記会話の時間帯と上記会話を行った相手先と上記会話中で上記単語が出現する頻度との少なくとも一つと共にデータベース化して登録するデータベース部と、
   ユーザが上記会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力を行う際に、その入力中の電子メール文に使用されている単語を元に、上記データベースの上記時間帯と上記相手先と上記頻度との少なくとも一つ参照して上記電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索する候補検索部と、
   上記候補検索部により検索された予測変換候補を提示部に提示させる提示制御部として、
   携帯情報端末のコンピュータを機能させる文字入力支援プログラム。
7. 会話音声データを記憶部へ記憶させるステップと、
   単語抽出部が、上記会話音声データから音声認識により、上記会話音声データにおける会話の中の単語を抽出するステップと、
   上記単語抽出部により抽出された単語を、上記会話の時間帯と上記会話を行った相手先と上記会話中で上記単語が出現する頻度との少なくとも一つと共にデータベース化してデータベース部が登録するステップと、
   ユーザが上記会話内容に関連する処理として相手先を指定していない状態で電子メールの文字入力を行う際に、候補検索部が、その入力中の電子メール文に使用されている単語を元に、上記データベースの上記時間帯と上記相手先と上記頻度との少なくとも一つを参照して上記電子メールの相手先を推定すると共にその推定した相手先に合う予測変換候補を検索するステップと、
   上記候補検索部により検索された予測変換候補を提示部にてユーザに提示するステップと
   を有する文字入力支援方法。

Images