JPH10190865A - 移動端末音声認識/フォーマット文章作成システム - Google Patents

移動端末音声認識/フォーマット文章作成システム

Info

Publication number
JPH10190865A
JPH10190865A JP8350324A JP35032496A JPH10190865A JP H10190865 A JPH10190865 A JP H10190865A JP 8350324 A JP8350324 A JP 8350324A JP 35032496 A JP35032496 A JP 35032496A JP H10190865 A JPH10190865 A JP H10190865A
Authority
JP
Japan
Prior art keywords
mobile terminal
data
voice
host device
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8350324A
Other languages
English (en)
Inventor
Toru Yamakita
徹 山北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP8350324A priority Critical patent/JPH10190865A/ja
Publication of JPH10190865A publication Critical patent/JPH10190865A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 移動端末を用いた通信環境において、音声認
識機能を実用的な精度及びコストで実現し、その認識結
果に基づいてフォーマット化された文章の自動作成を可
能にすることにある。 【解決手段】 移動端末101において、入力部109
から入力された音声信号が、制御部110及び通信部1
11からPHS網103に送出され、そこから移動端末
制御ホスト装置104及びインターネット105を介し
て、音声制御ホスト装置108に送られる。この音声信
号は、同装置内のパケット送受信部115を介して移動
端末通信制御部116で受信され、文音声認識部117
で認識された後、その音声の会話内容を示すフォーマッ
ト文章データがフォーマット文章作成部118で作成さ
れる。そのデータは、移動端末101に返送され、通信
部111を介して制御部110で受信され、出力部11
2で表示される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、移動(携帯)端末
装置において入力された通話音声等の音声を認識しその
認識結果に基づきフォーマット化された文章を作成する
技術に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】音声信
号を認識して、文字データに変換して蓄積したり、認識
結果を種々のサービスの利用に供したりするための音声
認識技術は、様々な産業分野で従来から要請されてい
る。
【0003】近年では、音声認識アルゴリズムの発達に
より、メインフレームコンピュータ又はワークステーシ
ョンコンピュータ等を用いた音声認識システムが開発さ
れている。
【0004】これらのシステムは、例えば、電話音声を
入力とする銀行の残高照会システムや座席予約システ
ム、作業員の音声を認識して荷物の自動配送を行う配送
荷物の仕分システムを始めとして、種々の産業分野に取
り入られつつある。
【0005】しかし、このような音声認識システムは、
上述のような大規模なコンピュータシステムの環境のも
とでようやく実用的な認識精度を有するレベルに到達し
たばかりであり、いわゆるパーソナルコンピュータのよ
うな小型のコンピュータシステム環境のもとでは、実用
的な認識精度を有する安価な音声認識システムは未だ実
現されていないのが現状である。
【0006】一方、上述のような情報処理技術と並行し
て、近年、自動車電話・携帯電話やPHS(パーソナル
ハンディホンシステム)等の移動端末が、急速に普及し
つつある。
【0007】特に、PHSは、小型であると同時に、自
動車電話・携帯電話に比較して通話料金が安く、かつ、
「いつでも、どこでも、誰とでも」高い品質で通話がで
きるという特徴を備えており、爆発的に普及しつつあ
る。更に、PHSは、ISDN(Integrated Services
Digital Network:サービス統合デジタル網)をバックボ
ーンとする公衆網であるため、32キロビット/秒の伝
送レートでの高速デジタル通信が可能であり、マルチメ
ディア通信分野への応用に対する期待も高まっている。
【0008】更には、移動端末の利便性をいかすべく、
携帯電話装置としてだけではなく、携帯情報管理装置と
しても利用できるような、マルチメディア情報管理/通
信端末装置としての実現の可能性も期待されている。具
体的には、このような移動端末は、通話機能/FAX機
能を備えることはもちろん、インターネットや社内ネッ
トワークへのアクセス機能としてのホームページアクセ
ス機能や電子メール通信機能を備えることが予想される
ほか、アドレス管理、スケジュール管理、メモ管理、デ
ータベース検索等の情報管理機能をも兼ね備えることが
期待される。
【0009】そして、このような移動端末は、人が気軽
に利用できるよう、できる限り人にやさしく自然なユー
ザインタフェースを備えることが要請される。現在実現
されているユーザインタフェースとしては、キーボード
やマウスによる指操作入力、電子ペンによる手書き入力
等が実用化されているが、音声入力等にも対応すること
ができれば、ユーザインタフェースとして理想的であ
る。即ち例えば、基本機能としての通話機能を利用しな
がら通話内容を示す音声信号をデータとして、アドレス
入力、スケジュール入力、メモ入力等が可能になれば、
移動端末の利便性を飛躍的に増大させることが可能にな
る。ここに、移動端末に対してユーザインタフェースと
して音声認識機能を適用することの価値を見出すことが
できる。
【0010】しかし、移動端末は小型でありその情報処
理能力は限られている反面、前述したように、現在の音
声認識処理では、メインフレームコンピュータ又はワー
クステーションコンピュータクラスの環境のもとでない
と、実用的な認識精度を実現することは困難である。従
って、現状では、移動端末のユーザインタフェースとし
て音声認識機能を実現することは非常に困難である、と
いう問題点を有している。
【0011】本発明の課題は、移動端末を用いた通信環
境において、そのユーザインタフェースとしての音声認
識機能を実用的な精度及びコストで実現し、その認識結
果に基づいてフォーマット化された文章の作成を可能に
することにある。
【0012】
【課題を解決するための手段】本発明はまず、以下の構
成を含む移動端末を有する。即ち、ホスト接続手段(制
御部110、通信部111)は、無線網又は有線網の何
れか一方又は両方から構成される中継網(PHS網10
3とインターネット105)を介して間接的に又はその
中継網を介さずに直接的にホスト装置である音声制御ホ
スト装置(音声制御ホスト装置108)に接続する。
【0013】音声入力手段(入力部109)は、音声を
入力する。音声データ送信手段(制御部110、通信部
111)は、ホスト接続手段による接続動作の後、音声
入力手段から入力される音声データを音声制御ホスト装
置に送信する。
【0014】フォーマット文章データ受信手段(制御部
110、通信部111)は、音声制御ホスト装置から返
信されるフォーマット文章データを受信する。フォーマ
ット文章データ表示/編集手段(制御部110、出力部
112)は、その受信されたフォーマット文章データを
表示又は編集する。
【0015】次に、本発明は、以下の構成を含む音声制
御ホスト装置108を有する。即ち、移動端末接続手段
(パケット送受信部115、移動端末通信制御部11
6)は、移動端末内のホスト接続手段による接続動作に
応答して、移動端末を識別して接続する。
【0016】音声データ受信手段(パケット送受信部1
15、移動端末通信制御部116)は、現在接続されて
いる移動端末毎に、音声データを受信する。音声認識手
段(移動端末通信制御部116、文音声認識部117)
は、現在接続されている移動端末毎に、音声データ受信
手段により受信された音声データに対して音声認識処理
を実行する。
【0017】フォーマット文章データ作成手段(フォー
マット文章作成部118)は、現在接続されている移動
端末毎に、音声認識手段による音声認識処理によって得
られる認識音声データ中のフィールドを判別することに
より、該認識音声データの内容を表わすフォーマット文
章データを作成する。このフォーマット文章データ作成
手段は、例えば、現在接続されている移動端末毎に、音
声認識手段による音声認識処理によって得られる認識音
声データに含まれるフィールドを認識すると共に、不要
語を削除して、フォーマット文章データを作成する。
【0018】フォーマット文章データ返信手段(移動端
末通信制御部116、パケット送受信部115)は、現
在接続されている移動端末毎に、フォーマット文章デー
タ作成手段によって作成されるフォーマット文章データ
を、それに対応する移動端末に返信する。
【0019】以上の移動端末と音声制御ホスト装置を含
む本発明による通信移動端末音声認識/フォーマット文
章データ作成通信システムにより、移動端末は、高度な
音声認識/フォーマット文章データ作成環境を設備する
必要がなく実用的な精度を有する音声認識/フォーマッ
ト文章データ作成機能の提供を低コストで受けることが
できる。
【0020】上述の発明の構成は、下記の限定を含むこ
とができる。即ち、まず、移動端末は、パーソナルハン
ディホンシステム通信機能(通信部111)を備える。
【0021】次に、中継網は、パーソナルハンディホン
システム通信網(PHS網103)とインターネット
(インターネット105)を含む。また、音声制御ホス
ト装置は、インターネットに接続する。
【0022】そして、移動端末内のホスト接続手段は、
パーソナルハンディホンシステム通信網を介して、その
パーソナルハンディホンシステム通信網を含む公衆網と
インターネットとの間のゲートウエイ機能を有する移動
端末制御ホスト装置(移動端末制御ホスト装置104)
に発信し接続することによって、インターネット上の通
信プロトコルを使用して、移動端末制御ホスト装置から
インターネットを介して音声制御ホスト装置に接続す
る。
【0023】この限定構成によって、現在全国的及び全
世界的に普及しつつあるパーソナルハンディホンシステ
ム通信網及びインターネットを経由することにより、実
用的な精度を有する音声認識機能の提供をより低コスト
及び手軽に受けることができると同時に、本発明が提供
する機能とパーソナルハンディホンシステム通話機能及
びインターネットアクセス機能とを、シームレスに結合
することができる。
【0024】更に、上述の通信プロトコルは、下記の限
定を含むことができる。即ち、上記通信プロトコルは、
インターネットプロトコル(IP)層及びトランスミッ
ションコントロールプロトコル(TCP)層を含む階層
プロトコルである。
【0025】次に、インターネット上を伝送されるイン
ターネットプロトコル層のパケットデータであるインタ
ーネットプロトコルデータグラム(IPデータグラム)
のヘッダ(IPヘッダ)フィールドには、インターネッ
ト上での移動端末及び音声制御ホスト装置のアドレスを
指定する送信元インターネットプロトコルアドレス及び
宛先インターネットプロトコルアドレスが格納され、そ
のインターネットプロトコルデータグラムのデータフィ
ールドには、トランスミッションコントロールプロトコ
ル層のパケットデータであるトランスミッションコント
ロールプロトコルセグメントが格納される。
【0026】また、トランスミッションコントロールプ
ロトコルセグメント(TCPセグメント)のヘッダ(T
CPヘッダ)フィールドには、音声認識/フォーマット
文章作成処理のための通信プロトコルを特定する送信元
ポート番号及び宛先ポート番号が格納され、そのトラン
スミッションコントロールプロトコルセグメントのデー
タフィールドには、移動端末を識別するための端末識別
コード、音声データ、又はフォーマット文章データが格
納される。
【0027】この限定構成によって、移動端末と音声制
御ホスト装置とを全世界的に容易に特定できると共に、
音声認識/フォーマット文章データ作成理サービスと他
の情報処理サービスとの共存を容易に実現できる。
【0028】ここまでの発明の構成において、音声制御
ホスト装置は、網によって相互に接続され、移動端末接
続手段、音声データ受信手段、音声認識手段、フォーマ
ット文章データ作成手段、及びフォーマット文章データ
返信手段に対応する機能を分散して実現する複数のホス
トコンピュータから構成されるように実現することがで
きる。
【0029】この限定構成によって、ホスト装置側の負
荷分散を容易に実現できる。なお、上述した移動端末及
び音声制御ホスト装置の単体も、本発明の権利範囲であ
る。
【0030】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について詳細に説明する。本実施の形態に
おいては、PHS機能が組み込まれた移動端末におい
て、通話時に又はオフライン状態でマイクから入力され
た音声信号が、PHS網からインターネットを介して特
定の音声サービスプロバイダ内のLANに接続される音
声制御ホスト装置に送られ、そこで上記音声信号が認識
された後に、その認識結果の内容が自動判別され、移動
端末から指定されたフォーマット種類の文章、即ち例え
ば、アドレス帳、スケジュール帳、メモ帳等のフォーマ
ット文章データに整形され、そのフォーマット文章デー
タがリアルタイムに移動端末に返送され、移動端末での
情報管理処理に利用されることが、本発明に関連する大
きな特徴である。このようなシステムにより、移動端末
は、高度な音声認識環境を設備する必要がなく実用的な
精度を有する音声認識機能の提供を低コストで受けるこ
とができ、かつ音声認識結果に基づくフォーマット文章
の作成機能をも装備することができる。 <システム構成>図1は、本発明の実施の形態の全体シ
ステム構成図である。
【0031】移動端末101は、PHS端末機能を有し
ており、無線基地102を介して、無線通信によってP
HS網103に接続される。無線基地102は、街路の
公衆電話ボックス、電柱、ビル屋上、地下通路等に設け
られる公衆無線基地、又は加入者宅内の親子電話装置等
である。なお、親子電話装置に接続される場合は、PH
S網を介さずに、直接公衆電話網に接続される。なお、
無線基地102の代わりに、有線接続装置を介して、有
線通信によってPHS網103又は公衆電話網に接続さ
れるように構成されてもよい。
【0032】PHS網103は、公衆電話網又はISD
N網と相互接続しており、これらの網には、高速デジタ
ル専用線等によってインターネット105に接続してい
る移動端末制御ホスト装置104が接続されている。
【0033】移動端末101は、無線基地102及びP
HS網103を介して、上記公衆電話網又はISDN網
に接続されている移動端末制御ホスト装置104に自動
的にダイヤルアップ発信することによって、インターネ
ット105に接続することができる。
【0034】インターネット105には、高速デジタル
専用線等を介して所定の音声サービスプロバイダのLA
N107に接続しているルータ装置106が接続されて
いる。LAN107は、イーサネット方式、ATM(As
ynchronous Transfer Mode)方式、又はFDDI方式に
よるローカルエリアネットワークである。LAN107
には、更に音声制御ホスト装置108が接続されてい
る。
【0035】移動端末101は、移動端末制御ホスト装
置104に自動的にダイヤルアップ発信した後に、イン
ターネット105、ルータ装置106、及びLAN10
7を介して、音声制御ホスト装置108と通信すること
ができる。
【0036】今、移動端末101内の入力部109にお
いて、ユーザが、タッチパネルから音声制御ホスト装置
108との通信を指示すると、制御部110は、通信部
111に対して、音声制御ホスト装置108との通信開
始を依頼する。
【0037】通信部111は、制御部110から通信開
始を依頼されると、現在移動端末制御ホスト装置104
に接続していなければ、無線基地(又は有線接続装置)
102に無線(又は有線)発信してPHS網103に接
続した後、移動端末制御ホスト装置104のアクセス電
話番号を指定してダイヤルアップ発信する。
【0038】移動端末制御ホスト装置104が着信する
と、移動端末101内の通信部111は、まず、移動端
末制御ホスト装置104内の接続確立部113と通信す
ることにより、インターネット105上の標準通信プロ
トコルであるTCP/IP及びPPP方式による接続の
確立のためのネゴシエーションを行う。この結果、移動
端末制御ホスト装置104から、移動端末101内の通
信部111に対して、インターネット105上の識別ア
ドレスであるIPアドレスが付与され、移動端末101
は、インターネット105へのアクセスが可能となる。
【0039】移動端末101内の通信部111は、既に
移動端末制御ホスト装置104に接続していれば、上記
タイヤルアップ発信は省略する。その後、移動端末10
1内の通信部111は、予め設定されている音声制御ホ
スト装置108のIPアドレスである“宛先IPアドレ
ス”と、移動端末制御ホスト装置104から付与された
IPアドレスである“送信元IPアドレス”と、移動端
末101を識別するための“端末識別コード”(例えば
PHS電話番号)と、ユーザの指定に基づく文音声認識
/フォーマット化の開始要求コマンド及びフォーマット
種類データ又は文音声認識/フォーマット化の終了要求
コマンドとが格納されたTCP/IPパケットを、イン
ターネット105に向けて送出する。
【0040】このTCP/IPパケットは、それに格納
されている“宛先IPアドレス”に基づき、移動端末制
御ホスト装置104内のルーティング部114とインタ
ーネット105内の特には図示しない中継ホスト装置に
よって、音声サービスプロバイダ内のルータ装置106
まで転送された後、更に、LAN107を介して音声制
御ホスト装置108内のパケット送受信部115まで転
送される。
【0041】パケット送受信部115は、受信したTC
P/IPパケットから、“送信元IPアドレス”と、
“端末識別コード”と、文音声認識/フォーマット化の
開始要求コマンド及びフォーマット種類データ又は文音
声認識/フォーマット化の終了要求コマンドとを取り出
して、音声制御ホスト装置108内の移動端末通信制御
部116に引き渡す。
【0042】移動端末通信制御部116は、引き渡され
た“送信元IPアドレス”と、“端末識別コード”と、
文音声認識/フォーマット化の開始要求コマンド及びフ
ォーマット種類データ又は文音声認識/フォーマット化
の終了要求コマンドに関する情報を後述する処理端末登
録テーブル(図12)に登録した後、パケット送受信部
115に対して、送信許可データが格納されたTCP/
IPパケットの移動端末101への返信を依頼する。
【0043】パケット送受信部115は、対応するTC
P/IPパケットを、移動端末101に対応するIPア
ドレスに向けて送信する。このようにして、音声制御ホ
スト装置108は、移動端末101から転送されてくる
音声データに対して文音声認識/フォーマット化を実行
することが可能となる。
【0044】移動端末101内の通信部111は、音声
制御ホスト装置108から上記送信許可データが格納さ
れたTCP/IPパケットを受信すると、それに格納さ
れている送信許可データを制御部110に引き渡す。
【0045】移動端末101内の制御部110は、上記
送信許可データを引き渡された後、通信部111に対し
て、通話動作又はオフライン状態での音声入力動作によ
ってマイクから入力された音声データの音声制御ホスト
装置108への送信を依頼する。
【0046】通信部111は、上記音声データが格納さ
れたTCP/IPパケットを、音声制御ホスト装置10
8に対応するIPアドレスに向けて送信する。このTC
P/IPパケットは、それに格納されている“宛先IP
アドレス”に基づき、移動端末制御ホスト装置104内
のルーティング部114、インターネット105内の特
には図示しない中継ホスト装置、音声サービスプロバイ
ダ内のルータ装置106、及びLAN107を介して、
音声制御ホスト装置108内のパケット送受信部115
まで転送される。
【0047】パケット送受信部115は、受信したTC
P/IPパケットに格納されている音声データを取り出
し、それを音声制御ホスト装置108内の移動端末通信
制御部116に引き渡す。
【0048】移動端末通信制御部116は、引き渡され
た音声データを文音声認識部117に引き渡す。文音声
認識部117は、引き渡された音声データに対して文音
声認識処理を実行し、認識結果である認識音声文章デー
タをフォーマット文章作成部118に引き渡す。フォー
マット文章作成部118は、文音声認識/フォーマット
化の開始要求コマンドと共に移動端末101から指定さ
れたフォーマット種類データとフォーマット種類別フィ
ールド辞書を使用して、文音声認識部117が出力する
認識音声文章データのフィールドを判別し、更に不要語
辞書1505を使用して不要語を削除して、フォーマッ
ト文章データを作成し、それを移動端末通信制御部11
6に引き渡す。
【0049】例えば、移動端末101のユーザは、アド
レス帳を入力したい場合に、文音声認識/フォーマット
化の開始要求コマンドと共にフォーマット種類データと
して“アドレス帳”を指定する。その後、ユーザは、
“氏名はカシオ太郎です”“会社はカシオ計算機株式会
社です”“事業所は羽村技術センターです”“部署は発
明部です”“住所は東京都羽村市栄町3の1の2です”
“電話は0425の79の7573です”“ファックス
は0425の79の7735です”などと順次発音す
る。これらの発音内容は、音声制御ホスト装置108内
の文音声認識部117によって各認識音声文章データと
して認識される。そして、フォーマット文章作成部11
8は、上記各認識音声文章データを、それぞれアドレス
帳の氏名フィールド、会社フィールド、事業所フィール
ド、部署フィールド、住所フィールド、電話フィール
ド、ファックスフィールドの文章データであると判別
し、更に不要語を削除した後、それぞれ“氏名:カシオ
太郎”“会社:カシオ計算機株式会社”“事業所:羽村
技術センター”“部署:発明部”“住所:東京都羽村市
栄町3−1−2”“電話:0425−79−7573”
“ファックス:0425−79−7735”などのフォ
ーマット文章データを、作成する。
【0050】移動端末通信制御部116は、フォーマッ
ト文章データが格納されたTCP/IPパケットの移動
端末101への返信を依頼する。パケット送受信部11
5は、対応するTCP/IPパケットを、移動端末10
1に対応するIPアドレスに向けて送信する。
【0051】移動端末101内の通信部111は、音声
制御ホスト装置108から上記フォーマット文章データ
が格納されたTCP/IPパケットを受信すると、それ
に格納されているフォーマット文章データを制御部11
0に引き渡す。
【0052】移動端末101内の制御部110は、上記
フォーマット文章データを、ユーザが予め指定したフォ
ーマット種類データに対応するフォーマット種類の文章
のテンプレートデータに差し込んで、それを出力部11
2に出力する。出力部112は、フォーマット文章デー
タに対応する文章を、LCD表示部に表示する。ユーザ
は、この文章データを、任意に蓄積又は加工することが
できる。
【0053】一方、移動端末101は、音声制御ホスト
装置108との通信のほかに、それが装備するホームペ
ージ閲覧ツールや電子メールを利用して、移動端末制御
ホスト装置104にダイヤルアップ発信することによ
り、インターネット105上の所望のリソースに自由に
アクセスすることが可能である。 <移動端末101の外観構成>図2は、図1の移動端末
101の外観図である。
【0054】移動端末101は、コンパクトな携帯情報
管理装置の外観を有し、音声を入力するための送話器を
兼ねたマイク201と、本発明には特には関連しないが
画像を入力するためのカメラ202と、各種情報を表示
し、またタッチ入力又はペン入力を受け付けるタッチパ
ネル機能を有するLCD表示部203と、音声を出力す
るための受話器を兼ねたスピーカ204を有する、ま
た、図1の無線基地102に発信するための無線アンテ
ナ205と、無線基地102の代わりの有線接続装置に
接続するためのソケット206を有する。
【0055】更に、各種ICカードを挿入するためのI
Cカードスロット207と、他の移動端末101又はパ
ーソナルコンピュータ等との間で赤外線光通信を行うた
めの光送受信機208を有する。
【0056】スイッチ209は、電源スイッチである。 <移動端末101の機能ブロック構成>図3は、移動端
末101の機能ブロック図である。
【0057】移動端末101は、図1にも示したよう
に、入力部109、制御部110、通信部111、及び
出力部112から構成され、それぞれバス326によっ
て相互に接続されている。
【0058】まず、入力部109は、音声を入力する部
分と、本発明には特には関連しないが画像を入力する部
分と、出力部112の動作において後述するタッチパネ
ル機構の部分とから構成される。
【0059】音声を入力する部分は、マイク301、A
/D変換部302、及びマイク制御部303から構成さ
れる。マイク301(図2の201に対応)は、PHS
電話の送話器を兼ねており、ユーザが発声した音声を入
力する。
【0060】A/D変換部302は、マイク301から
入力されたアナログ音声信号をデジタル音声データに変
換し、更にそのデジタル音声データを、PHSの標準音
声符号化方式であるADPCM(Adaptive Differentia
l Pulse Code Modulation:適応差分線形パルス符号化)
方式によって符号化する。なお、この部分は、PHS端
末を構成するLSI集積回路として、既に実用化されて
いる。
【0061】マイク制御部303は、上記符号化された
音声データを、通話時には、通信部111内の通信制御
部321に転送して通話チャネルに載せると共に、文音
声認識/フォーマット化時には、更に制御部110内の
RAM317に転送する。
【0062】一方、画像を入力する部分は、CCD(Ch
arge Coupled Device )カメラ304、A/D変換部3
05、メモリ306、及びカメラ制御部307から構成
される。
【0063】CCDカメラ304は、ユーザの操作に基
づいて任意の画像を撮像する。A/D変換部305は、
CCDカメラ304によって撮像されたアナログ映像信
号を、デジタル画像データに変換する。
【0064】メモリ306は、デジタル画像データをフ
レーム単位で記憶する。カメラ制御部307は、CCD
カメラ304、A/D変換部305、及びメモリ306
の動作を制御する。
【0065】次に、出力部112は、音声を出力する部
分と、画像を出力する部分とから構成される。音声を出
力する部分は、スピーカ308、D/A変換部309、
及びスピーカ制御部310から構成される。
【0066】スピーカ制御部310は、通信部111内
の通信制御部321から受信されたPHS通話音声デー
タ、又は制御部110内のRAM317から受信された
合成音声データを、D/A変換部309に転送する。
【0067】D/A変換部309は、受信された音声デ
ータを復号し、アナログ音声信号に変換し、それをスピ
ーカ308(図2の204に対応)から音声として放音
させる。
【0068】画像を出力する部分は、LCD表示部20
3、LCDドライバ312、メモリ313、及びLCD
制御部314から構成される。LCD制御部314は、
制御部110内のRAM317から受信された文字デー
タ、イメージデータ、コマンドボタンデータ等の各種画
像データをメモリ313にフレーム単位で保持させ、L
CDドライバ312に起動をかける。
【0069】LCDドライバ312は、メモリ313か
らフレーム単位で読み出される画像データを、LCD表
示部311(図2の203に対応)に表示する。なお、
LCD表示部311(図2の203)の表面には、透明
タッチパネルが配設されており、ユーザは、LCD表示
部311に表示されるコマンドボタンデータ等に従っ
て、タッチパネルに指タッチ又はペンタッチすることに
より、コマンド入力を行うことができる。この入力信号
は、タッチパネル制御部315によって制御部110内
のRAM317に転送される。
【0070】続いて、制御部110は、CPU316、
RAM317、及びROM318と、ICカードインタ
フェース部319、及び必要に応じてICカードスロッ
ト207(図2)に挿入されるICカード320とから
構成される。
【0071】CPU316は、ROM318に記憶され
た制御プログラムに従って、RAM317をワークエリ
アとして使用しながら、移動端末101全体の動作を制
御する。
【0072】ICカードインタフェース部319は、I
Cカード320に対するデータの入出力を制御する。最
後に、通信部111は、通信制御部321、無線ドライ
バ322、無線アンテナ323、有線ドライバ324、
及びソケット325から構成される。
【0073】通信制御部321は、PHS通話処理及び
インターネット105との間のTCP/IP通信処理
(後述する)を実行し、無線ドライバ322又は有線ド
ライバ324を制御する。
【0074】無線ドライバ322は、無線通信時に、通
信データを、無線アンテナ323(図2の205に対
応)を介して送受信されるPHS無線信号との間で相互
変換する。PHS無線信号は、1.9GHzの無線周波
数と、300kHzのキャリア周波数間隔と、4チャネ
ル/キャリアのTDMA−TDD無線アクセス方式と、
π/4シフトQPSK変調方式と、384kbits/
secの無線伝送速度に基づく無線信号である。
【0075】一方、有線ドライバ324は、有線通信時
に、通信データを、ソケット325(図2の206に対
応)を介して送受信される有線信号との間で相互変換す
る。これは、一般的な電話帯域モデム変調信号である。
以上の構成を有する本発明の実施の形態の動作につい
て、以下に詳細に説明する。 <移動端末101の処理>まず、移動端末101の処理
について説明する。
【0076】図4は、図3の制御部110内のCPU3
16が、電源投入後に、制御部110内のROM318
に記憶されている制御プログラムを実行する動作として
実現される制御動作を示す全体動作フローチャートであ
る。
【0077】なお、図4、図5、及び図8の動作フロー
チャートで示される各機能を実現する制御プログラム及
びそれに必要なデータは、例えば、図2に示されるIC
カードスロット207に着脱自在なICカード320
に、CPU316が読み取り可能なプログラムコードの
形態で記憶され、そのプログラムコードがCPU316
によって直接実行され、又は、そのプログラムコードが
必要に応じてRAM317又は書込み可能なROM31
8にロードされてCPU316によって実行されるよう
に構成されてもよい。或いは、上述の制御プログラム及
びそれに必要なデータは、無線又は有線の通信回線又は
光送受信機208(図2)から通信部111を介して他
の機器から受信されて、RAM317又は書込み可能な
ROM318にロードされてCPU316によって実行
されるように構成されてもよい。
【0078】まず、ステップ401→402→403→
404→401の繰返しループにおいては、図3のタッ
チパネル制御部315からタッチパネル入力の検出が通
知されたか否かの判定処理(401)、音声制御ホスト
装置108(図1)からフォーマット文章データが受信
されたか否かの判定処理(402)、その他の受信/表
示処理(403)、及び必要なデータの送信処理(40
4)が実行される。
【0079】タッチパネル制御部315からタッチパネ
ル入力の検出が通知されステップ401の判定がYES
となると、ステップ405又は406で、上記タッチパ
ネル入力が図3のCCDカメラ304(図2の202)
の入力指示又は図3のマイク301(図2の201)の
入力指示であるか否かが、判定される。
【0080】タッチパネル入力が図3のCCDカメラ3
04(図2の202)の入力指示であってステップ40
5の判定がYESとなると、ステップ407で、図3の
入力部109内のカメラ制御部307に対して、例えば
手書き文字画像等の入力処理の開始が指示される。その
後、ステップ404の送信処理に進む。画像入力処理
は、本発明には特には関連しないため、その詳細な説明
は省略する。
【0081】タッチパネル入力が図3のマイク301
(図2の201)の入力指示であってステップ406の
判定がYESとなると、ステップ408で、図3の入力
部109内のマイク制御部303に対し、音声入力処理
の開始が指示される。この音声入力処理の開始指示は、
例えばPHS通話処理の開始指示、又は文音声認識/フ
ォーマット化を実行するためのオフライン状態での音声
入力処理の開始指示である。
【0082】マイク制御部303は、上述のCPU31
6からの指示によって、マイク301(図2の201)
及びA/D変換部302に対して、音声入力の開始を指
示する。この結果、A/D変換部302からは、マイク
301(図2の201)から入力された音声データが出
力される。
【0083】その後、上述の音声入力処理の開始指示が
PHS通話の開始指示である場合には、上述の音声デー
タは、通信制御部321の特には図示しない送信処理に
よって、所定の通話チャネルに載せられて通話相手に送
信される。
【0084】また、上述の音声入力処理の開始指示が文
音声認識/フォーマット化のための音声入力処理の開始
指示を含む場合には、それ以後マイク301(図2の2
01)から入力されマイク制御部303から出力された
音声データは、後述するステップ404の送信処理にお
いて、そこで音声制御ホスト装置108に向けて送信さ
れる。
【0085】タッチパネル入力が図3のCCDカメラ3
04(図2の202)の入力指示でも図3のマイク30
1(図2の201)の入力指示でもない場合には、ステ
ップ405及び406の判定がNOとなって、ステップ
409で、他のキー入力処理が実行される。その後、ス
テップ404の送信処理に進む。
【0086】一方、音声制御ホスト装置108(図1)
から通信部111を介して制御部110内のRAM31
7にフォーマット文章データが受信され、ステップ40
1→402→403→404→401の繰返しループに
おけるステップ402の判定がYESとなると、ステッ
プ410において、RAM317に受信されている上記
フォーマット文章データが、ユーザが予め指定したフォ
ーマット種類データに対応するフォーマット種類の文章
のテンプレートデータに差し込まれ、それがRAM31
7から出力部112内のメモリ313に転送され、LC
D制御部314に対して上記データの表示が指示され
る。
【0087】この結果、LCD制御部314の制御によ
って、メモリ313からLCDドライバ312を介して
LCD表示部311(図2の203)に、フォーマット
化された文章が表示される。
【0088】次に、ステップ404の送信処理について
説明する。図5は、上記送信処理の詳細を示す動作フロ
ーチャートである。まず、ステップ501では、図4の
ステップ409の他キー入力処理によって処理されたタ
ッチパネルからのキー入力が送信指示を伴っているか否
かが判定される。
【0089】この判定がNOの場合には、ステップ50
5の処理へ進む。ステップ501の判定がYESの場合
には、ステップ502で、移動端末101が現在図1の
移動端末制御ホスト装置104に接続中であるか否かが
判定される。
【0090】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ502の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ504で、移動端末101の“端末識別コ
ード”とキー入力処理に対応するコマンドの送信指示
を、図3の通信部111内の通信制御部321に対し依
頼する。この結果、通信制御部321は、上記“端末識
別コード”とコマンドが格納されたTCP/IPパケッ
トを生成し、それをインターネット105に接続されて
いる所定のホスト(例えば図1の音声制御ホスト装置1
08)に向け送信する。
【0091】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ502の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ503で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
504を実行する。
【0092】後に詳述するように、ユーザの指定に基づ
く文音声認識/フォーマット化の開始要求コマンドとフ
ォーマット種類データの送信指示、及び文音声認識/フ
ォーマット化の終了要求コマンドは、上述のステップ5
04で発行される。
【0093】前述したようにステップ501の判定がN
Oの場合又はステップ504の処理の後、ステップ50
5では、図4のステップ408によって、文音声認識/
フォーマット化のための音声入力処理の開始指示が実行
されており、音声データの音声制御ホスト装置108
(図1)への送信指示がなされているか否かが判定され
る。
【0094】この判定がNOの場合には、ステップ51
0の処理へ進む。ステップ505の判定がYESの場合
には、ステップ506で、音声制御ホスト装置108か
ら文音声認識/フォーマット化の開始要求コマンドに対
する応答である送信許可データが既に返信されているか
否かが判定される。
【0095】この判定がNOの場合には、音声制御ホス
ト装置108がまだ移動端末101からの文音声認識/
フォーマット化の開始要求コマンドに対する準備が完了
していないため、ステップ510の処理へ進む。
【0096】音声制御ホスト装置108から文音声認識
/フォーマット化の開始要求コマンドに対する応答であ
る送信許可データが既に返信されておりステップ506
の判定がYESの場合には、更に、ステップ507で、
移動端末101が現在図1の移動端末制御ホスト装置1
04に接続中であるか否かが判定される。
【0097】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ507の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ509で、図3に示される入力部109内
のマイク制御部303から制御部110内のRAM31
7に転送されてきている音声データの送信指示を、通信
部111内の通信制御部321に対し依頼する。この結
果、通信制御部321は、上記音声データが格納された
TCP/IPパケットを生成し、それをインターネット
105に接続されている図1の音声制御ホスト装置10
8に向けて送信する。
【0098】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ507の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ508で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
509を実行する。
【0099】後に詳述するように、文音声認識/フォー
マット化のための音声データの送信指示は、上述のステ
ップ509において発行される。前述したようにステッ
プ505又は506の判定がNOの場合又はステップ5
09の処理の後、ステップ510では、図4のステップ
407によって、画像入力処理の開始指示が実行されて
おり、画像データを図1のインターネット105に接続
されている特には図示しない画像制御ホスト装置への送
信指示がなされているか否かが判定される。
【0100】この判定がNOの場合には、図4のステッ
プ404の送信処理を終了する。ステップ510の判定
がYESの場合には、ステップ511で、移動端末10
1が現在図1の移動端末制御ホスト装置104に接続中
であるか否かが判定される。
【0101】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ511の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ513で、図3に示される入力部109内
のメモリ306に得られている画像データの送信指示
を、通信部111内の通信制御部321に対して依頼す
る。この結果、通信制御部321は、上記画像データが
格納されたTCP/IPパケットを生成し、それをイン
ターネット105に接続されている特には図示しない画
像制御ホスト装置108に向けて送信する。
【0102】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ511の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ512で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
513を実行する。
【0103】なお、ステップ513の画像データの送信
指示は、本発明には特には関連しないため、その詳細な
説明は省略する。前述したようにステップ510の判定
がNOの場合又はステップ513の処理の後、図4のス
テップ404の送信処理を終了する。 <通信データのフォーマット>図6は、移動端末101
と移動端末制御ホスト装置104及びインターネット1
05(音声制御ホスト装置108)との間で通信される
通信データのフォーマット図である。
【0104】移動端末101と移動端末制御ホスト装置
104との間では、通信データは、PPP(Point-to-P
oint Protocol )と呼ばれる通信プロトコルに基づき、
図6(a) に示されるPPPフレーム(図の左から右に向
けて転送される)を用いて、PHS規格の32kbit
s/secの伝送レートを有するデジタル通信チャネル
上を伝送される。
【0105】PPPフレームを構成する、“フラグ”、
“アドレス”、“コントロール”の各フィールドは、図
6(a) に示される各固定ビット列が設定される。2オク
テットのデータ長を有するFCSは、フレームチェック
シーケンスと呼ばれ、PPPフレームデータの誤り検出
/訂正用のデータである。移動端末101と移動端末制
御ホスト装置104との間でPPPリンクが確立した後
に転送されるPPPフレームの“インフォメーション”
フィールド(可変データ長を有する)には、インターネ
ット105(図1)上のデータの基本伝送単位であるI
Pデータグラムが格納され、その場合に、2オクテット
のデータ長を有する“プロトコル”フィールドには、”
インフォメーション”フィールドにIPデータグラムが
格納されていることを示す16進値“0021”が格納され
る。
【0106】PPPフレームの“インフォメーション”
フィールドには、上述のようにIPデータグラムが格納
される。このIPデータグラムは、上述のようにインタ
ーネット105上のデータの基本伝送単位である。IP
データグラムは、インターネットプロトコル(IP)に
従って規定され、その“データ”フィールドに格納され
たデータをインターネット105上の宛先のホスト装置
まで一意に転送するための機能を提供し、インターネッ
ト105上でのアドレスを特定する機能、そのIPデー
タグラム自身を“宛先IPアドレス”で指定されたホス
トまでインターネット105上の一定の経路で転送する
機能、そのIPデータグラム自身のフラグメント化(分
割)と再組立てを行う機能等を備える。
【0107】IPデータグラムは、図6(b) に示される
ように、IPヘッダフィールドとデータフィールドとか
ら構成される。IPヘッダフィールドには、それが含ま
れるIPデータグラム自身を配送するために必要な全て
の情報が含まれる。図7(a)は、IPヘッダのフォーマ
ット図である。
【0108】IPヘッダは、32ビットを1ワードとし
て、5乃至6ワードのデータ長を有し、このデータ長は
第1ワードの“ヘッダ長”フィールドに格納され、ま
た、IPデータグラム全体のデータ長は、第1ワードの
“IPデータグラムの全長”フィールドに格納される。
【0109】第1ワードの“バージョン”フィールドに
は、IPデータグラムの転送方法を規定するインターネ
ットプロトコル(IP)のバージョンが設定され、現在
のバージョンは4である。
【0110】第1ワードの“サービスの種類”フィール
ドには、配送の優先度を表わす情報等が格納されるが、
ここは本発明には特には関連しない。第2ワードの各フ
ィールドは、IPデータグラムがインターネット105
上での転送の制約によりフラグメント化(分割)される
場合における制御情報を規定する。まず、“識別番号”
フィールドには、分割されたフラグメントであるこのI
Pデータグラムが属する分割前のIPデータグラムを識
別するための一意な整数が設定される。次に、”フラグ
メントのオフセット”フィールドには、分割されたフラ
グメントであるこのIPデータグラムが分割前のIPデ
ータグラムのどの部分に相当するかを示すオフセット情
報が設定される。そして、”フラグ列”フィールドに
は、分割されたフラグメントであるこのIPデータグラ
ムに、それが属する分割前のIPデータグラムを構成す
る他のフラグメントが後続するか否かが設定される。以
上の情報により、インターネット105上の中継ホスト
においてIPデータグラムがフラグメント化されても、
受信側で分割前のIPデータグラムを正確に復元するこ
とができる。
【0111】第3ワードの“生存期間”(TTL:Time
To Live)フィールドには、そのIPデータグラムがイ
ンターネット105上にどれだけの時間の間存在するこ
とを許すかを示す秒単位の時間情報が設定される。イン
ターネット105上の中継ホストは、IPデータグラム
を処理する毎に上記フィールド値を減算し、値が0以下
になったIPデータグラムはインターネット105上か
ら廃棄する。これにより、インターネット105上での
過度なトラヒックの発生が抑制される。なお、廃棄され
たIPデータグラムに関する再送制御は、そのIPデー
タグラムに格納されるTCPセグメントに対する制御処
理において実行される。
【0112】第3ワードの“プロトコル”フィールドに
は、そのIPデータグラムの“データ”フィールドに格
納されるデータのフォーマットを規定するための整数値
が設定される。本実施の形態の場合には、図6(c) に示
されるように、IPデータグラムの“データ”フィール
ドにはTCPセグメントデータが格納されるため、その
フォーマットを規定する整数値6が設定される。
【0113】第3ワードの“ヘッダのチェックサム”フ
ィールドには、IPヘッダのデータの誤りを検出するた
めのチェックサムデータが設定される。第4ワードに
は、32ビットの“送信元IPアドレス”が設定され
る。例えばIPデータグラムが移動端末101から音声
制御ホスト装置108へ転送される場合には、“送信元
IPアドレス”としては、後述する発信処理により移動
端末制御ホスト装置104から移動端末101に対して
付与されたIPアドレスが設定される。図1の音声制御
ホスト装置108は、この“送信元IPアドレス”を記
憶することにより、インターネット105を介して移動
端末101に対して、フォーマット文章データ等を返信
することができる。
【0114】第5ワードには、32ビットの“宛先IP
アドレス”が設定される。例えばIPデータグラムが移
動端末101から音声制御ホスト装置108へ転送され
る場合には、“宛先IPアドレス”としては、音声制御
ホスト装置108に固定的に割当てられているIPアド
レスが設定される。移動端末制御ホスト装置104内の
ルーティング部114、インターネット105上の各中
継ホスト装置、及び音声サービスプロバイダ内のルータ
装置106は、受信したIPデータグラムに格納されて
いる上記“宛先IPアドレス”を識別することによっ
て、予め各装置が有する経路制御テーブル情報に従っ
て、そのIPデータグラムの配送経路を決定し、最終的
にそのIPデータグラムを音声サービスプロバイダ内の
音声制御ホスト装置108まで転送することができる。
【0115】第6ワードの“IPオプション”フィール
ドは、オプションであり、インターネット105を構成
する各ネットワークのテスト又はデバッグのための情報
や、インターネット105上での配送経路を制御又は監
視するための制御情報等が設定されるが、ここは本発明
には特には関連しない。
【0116】第6ワードの“パディング”フィールドに
は、データ長を合わせるためのパディングデータが設定
される。次に、IPデータグラムの“データ”フィール
ドには、TCPセグメントデータが格納される。このT
CPセグメントは、トランスミッションコントロールプ
ロトコル(TCP)に従って規定され、その“データ”
フィールドに格納されたデータをインターネット105
上の宛先のホスト装置まで正確に適切な順序で配送する
ための機能を備える。IPデータグラムがインターネッ
ト105上でのデータの一意な転送の機能のみを提供
し、データの信頼性を確保する機能(再送制御機能等)
を提供しないのに対して、TCPセグメントは、データ
の信頼性を確保する機能を提供するものである。
【0117】このように、通信データが、(PPPフレ
ームと)IPデータグラムとTCPセグメントという階
層構造を有するのは、インターネット105上ではなる
べく小さい処理負荷のもとで効率良くデータを配送する
必要があり、エンド対エンド間ではできるかぎり信頼性
の高いデータ配送を実現する必要があるという異なる要
請に効率的に対処するためである。これにより、インタ
ーネット105上の中継ホスト装置は、IPデータグラ
ムのIPヘッダのみを参照することにより、そのIPデ
ータグラムの“データ”フィールドに格納された情報
(TCPセグメント)をできる限り高速かつ効率的に宛
先ホスト装置まで配送することができ、エンド対エンド
(送信元ホスト装置と宛先ホスト装置)間では、TCP
セグメントのTCPヘッダを参照することにより、再送
制御等の信頼性の高いデータ通信を実現することができ
るのである。
【0118】TCPセグメントは、図6(b) に示される
ように、TCPヘッダフィールドとデータフィールドと
から構成される。図7(b) は、TCPヘッダのフォーマ
ット図である。
【0119】TCPヘッダは、IPヘッダの場合と同様
に、32ビットを1ワードとして、5乃至6ワードのデ
ータ長を有し、このデータ長は第4ワードの“ヘッダ
長”フィールドに格納され、また、IPデータグラム全
体のデータ長は、第1ワードの“IPデータグラムの全
長”フィールドに格納される。
【0120】第1ワードの“送信元ポート番号”フィー
ルド及び“宛先ポート番号”フィールドには、文音声認
識/フォーマット化のための通信プロトコルを特定する
16ビットの整数値が設定される。
【0121】音声制御ホスト装置108内のパケット送
受信部115(図1)は、文音声認識/フォーマット化
のための音声データが格納されたTCPセグメントのほ
かにも、電子メールデータを始めとする様々なデータが
格納された様々なTCPセグメントを送受信するため、
受信したTCPセグメントのTCPヘッダに設定されて
いる“宛先ポート番号”フィールドの値を認識すること
によって、そのTCPセグメントの“データ”フィール
ドに格納されているデータを音声制御ホスト装置108
で実行されるどのアプリケーションに引き渡すかを決定
することができる。
【0122】そして、パケット送受信部115は、受信
したTCPセグメントのTCPヘッダに設定されている
“宛先ポート番号”フィールドの値が文音声認識/フォ
ーマット化のための通信プロトコルに対応する値を示し
ている場合には、そのTCPセグメントの“データ”フ
ィールドに格納されている音声データを移動端末通信制
御部116に引き渡すことができる。
【0123】同様に、移動端末101の通信部111内
の通信制御部321(図3)も、フォーマット文章デー
タが格納されたTCPセグメントのほかにも、ホームペ
ージデータや電子メールデータを始めとする様々なデー
タが格納された様々なTCPセグメントを送受信するた
め、受信したTCPセグメントのTCPヘッダに設定さ
れている“宛先ポート番号”フィールドの値を認識する
ことによって、そのTCPセグメントの“データ”フィ
ールドに格納されているデータを移動端末101で実行
されるどのアプリケーションに引き渡すかを決定するこ
とができる。
【0124】そして、通信制御部321は、受信したT
CPセグメントのTCPヘッダに設定されている“宛先
ポート番号”フィールドの値が文音声認識/フォーマッ
ト化のための通信プロトコルに対応する値を示している
場合には、制御部110(図1、図3)に、文音声認識
/フォーマット化のためのデータの受信を通知し、その
TCPセグメントの“データ”フィールドに格納されて
いるフォーマット文章データを引き渡すことができる。
【0125】更に、音声制御ホスト装置108内のパケ
ット送受信部115及び移動端末101の通信部111
内の通信制御部321は、受信したTCPセグメントの
TCPヘッダに設定されている“送信元ポート番号”を
確認することにより、送信元のアプリケーションを確認
することができる。
【0126】次に、図7に示されるTCPヘッダの第2
ワードの“シーケンス番号”フィールドは、現在のTC
Pコネクションにおいて送信側から受信側に送信される
全バイトストリームのうち、このTCPセグメントの
“データ”フィールドに格納されているデータの先頭が
上記全バイトストリームの何バイト目にあたるかを、送
信側から受信側に通知するためのフィールドである。逆
に、第3ワードの“確認応答番号”フィールドは、現在
のTCPコネクションにおいて送信側から受信側に送信
される全バイトストリームのうち、受信側が現在何バイ
ト目までを誤り無く受信したかを、受信側から送信側に
通知するためのフィールドである。これにより、例えば
移動端末101から音声制御ホスト装置108に対し
て、音声データを正しい順序でかつ高い信頼性のもとで
転送することが可能となる。
【0127】第4ワードの“フラグ列”フィールドに
は、TCPセグメントの種類を示す値が設定される。T
CP通信においては、例えばコネクションの開始時又は
終了時等において確認応答のための様々な制御データが
通信されるが、それらの制御データの種類が、“フラグ
列”フィールドに設定される。
【0128】第4ワードの“ウインドウ”フィールド
は、受信側が現在何バイトのデータを連続して受信する
ことが可能であるかを示すウインドウデータを、受信側
から送信側に通知するためのフィールドである。これに
より、受信側から送信側に対するデータのフロー制御が
可能となり、例えば音声制御ホスト装置108の負荷が
高いような場合には移動端末101に対して音声データ
の送信を抑制させる、といようなきめの細かい制御が可
能となる。
【0129】第4ワードの“予約済”フィールドは、予
約用のフィールドである。第5ワードの“チェックサ
ム”フィールドには、TCPヘッダ及び“データ”フィ
ールドに格納されているデータの誤りを検出するための
チェックサムデータが格納される。これにより、例えば
音声制御ホスト装置108は、移動端末101から音声
データを正確に受信することができる。
【0130】第5ワードの“緊急ポインタ”は、緊急デ
ータ(インタラプトデータやアボートデータ等)を通信
するための制御データであるが、これは本発明には特に
は関連しない。
【0131】第6ワードの“オプション”フィールド
は、例えば送受信装置間で通信可能な最大セグメント長
を指定するため等に使用されるが、これは本発明には特
には関連しない。
【0132】第6ワードの“パディング”フィールドに
は、データ長を合わせるためのパディングデータが設定
される。上述の構成を有するTCPセグメントの通信
(終端)処理機能は、移動端末101においては通信部
111内の通信制御部321(図3)において実現さ
れ、音声制御ホスト装置108においてはパケット送受
信部115(図1)において実現される。なお、移動端
末101においてCPU316が実行する制御プログラ
ムが上記処理機能を実現するように構成されてもよい。 <発信処理>前述のように、移動端末101の制御部1
10内のCPU316(図3)は、図4のステップ40
4に対応する図5に示される送信処理のうち、移動端末
101が現在図1の移動端末制御ホスト装置104に接
続中でなくステップ502、507、又は511の判定
がNOである場合には、ステップ503、508、又は
512において、図3の通信部111内の通信制御部3
21に対して発信処理を依頼する。この依頼によって、
通信制御部321が実行する発信処理は、図8の動作フ
ローチャートによって示される。
【0133】まず、ステップ801では、リンク確立フ
ェーズが実行される。このフェーズでは、移動端末制御
ホスト装置104のアクセス電話番号に対して自動的に
ダイヤルアップが行われ移動端末制御ホスト装置104
が着信した後、リンクコントロールプロトコル(LC
P)と呼ばれるプロトコルを使用し、通信に使用される
PPPフレーム(図6(a) )の最大データ長の決定、エ
スケープされるべき非透過文字の決定、PPPフレーム
の“プロトコル”フィールド(図6(a) )のデータ長を
2オクテットから1オクテットに圧縮することの有無の
決定、PPPフレームの固定値“11111111”を有する
“アドレス”フィールド(図6(a) )を省略(圧縮)す
ることの有無の決定等に関するネゴシエーションが、移
動端末制御ホスト装置104内の接続確立部113(図
1)との間で実行される。この場合、移動端末101の
通信部111内の通信制御部321と移動端末制御ホス
ト装置104内の接続確立部113との間の通信は、図
6(a) に示されるフォーマットを有するPPPフレーム
を用いて、その“プロトコル”フィールドにLCPを特
定する16進値“c021”を設定し、その“インフォメー
ションフィールド”に、必要な制御データを設定して、
実行される。
【0134】次に、ステップ802においては、認証フ
ェーズが実行される。このフェーズでは、PAP(Pass
word Authentication Protocol)又はCHAP(Challe
ngeHandshake Authentication Protocol )と呼ばれる
認証プロトコルを使用し、移動端末101を使用するユ
ーザの認証が、移動端末制御ホスト装置104内の接続
確立部113(図1)から移動端末101に対して実行
される。これにより、移動端末制御ホスト装置104を
運営するインターネットプロバイダは、移動端末101
を使用するユーザが契約されたユーザであるか否かを決
定できる。この場合、移動端末101の通信部111内
の通信制御部321と移動端末制御ホスト装置104内
の接続確立部113との間の通信は、図6(a) に示され
るフォーマットを有するPPPフレームを用いて、その
“プロトコル”フィールドにPAPを特定する16進値
“c023”又はCHAPを特定する16進値“c223”を設
定し、その“インフォメーションフィールド”に、必要
な認証用データを設定して、実行される。
【0135】最後に、ステップ803では、ネットワー
クレイヤプロトコルフェーズが実行される。本実施の形
態の場合、このフェーズでは、IPコントロールプロト
コル(IPCP)と呼ばれるプロトコルを使用して、T
CPヘッダ(図7(b) 参照)の圧縮の有無が決定される
と共に、移動端末制御ホスト装置104が割当てること
のできる空き(未使用)IPアドレスのうちの1つが移
動端末101に対して割り当てられ、加えて、必要な経
路情報が移動端末101の通信部111内の通信制御部
321(図3)と移動端末制御ホスト装置104内のル
ーティング部114(図1)に設定される。これ以後、
移動端末101は、そのIPアドレスを使用することに
よって、インターネット105に接続される音声制御ホ
スト装置108、及びインターネット105上のユーザ
が希望する任意のリソースにアクセスすることが可能と
なる。この場合、移動端末101の通信部111内の通
信制御部321と移動端末制御ホスト装置104内の接
続確立部113との間の通信は、図6(a) に示されるフ
ォーマットを有するPPPフレームを用いて、その“プ
ロトコル”フィールドにIPCPを特定する16進値
“8021”を設定し、その“インフォメーションフィール
ド”に、必要なIPアドレスのネゴシエーションのため
のデータ等を設定して、実行される。
【0136】以上の一連の動作により、移動端末101
は、移動端末制御ホスト装置104内のルーティング部
114との間で通信用のTCP/IPパケットが格納さ
れたPPPフレームを授受することが可能となり、移動
端末101は、インターネット105上のリソースに自
由にアクセスすることが可能になる。
【0137】なお、PHS通話時にも音声制御ホスト装
置108等へのアクセスを可能とするために、移動端末
101は、例えば2チャネル同時通信機能を有するよう
に構成することができる。
【0138】また、移動端末101の通信部111内の
通信制御部321(図3)は、一定時間(例えば10分
間)送受信データを検出しなかった場合に、移動端末制
御ホスト装置104との間のPPPリンクを自動的に切
断するように構成することができる。 <文音声認識/フォーマット化に関する移動端末101
の送受信処理の詳細動作>ユーザが移動端末101のタ
ッチパネルを操作してフォーマット種類と文音声認識/
フォーマット化の開始を指示した場合及びそれ以後に移
動端末101が実行する送受信処理の詳細な動作につい
て、説明する。
【0139】上述のタッチパネルの操作は、図3のタッ
チパネル制御部315において検出された後、制御部1
10内のCPU316(図3)によって、それが実行さ
れる前述した図4の動作フローチャートに対応する制御
動作において、ステップ401の判定がYES、ステッ
プ405及び406の判定がNOとなって、ステップ4
09の他キー入力処理が実行されることにより、検出さ
れる。更に、ステップ404の送信処理において、前述
した図5のステップ501の判定がYESとなり、必要
に応じてステップ503で発信処理が実行された後、ス
テップ504において、移動端末101の“端末識別コ
ード”と上述の文音声認識/フォーマット化の開始指示
を示すキー入力処理に対応するコマンドとデータの送信
指示が、図3の通信部111内の通信制御部321に対
して依頼される。
【0140】この結果、通信制御部321は、まず、図
6(c) に示されるフォーマットを有するTCPセグメン
トを生成する。この場合、図6(c) 及び図7(b) に示さ
れるフォーマットを有するTCPヘッダにおいて、“送
信元ポート番号”フィールド及び“宛先ポート番号”フ
ィールドには、文音声認識/フォーマット化のための通
信プロトコルを特定する16ビットの整数値が設定され
る。そして、TCPセグメントの“データ”フィールド
には、移動端末101を特定する“端末識別コード”
(例えばそのPHS電話番号)と、ユーザの指定に基づ
く文音声認識/フォーマット化の開始要求コマンドと、
ユーザの指定に基づくフォーマット種類データとが格納
される。
【0141】次に、通信制御部321は、上述のTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成する。この場合に、図6(b) 及び図7(a) に示さ
れるフォーマットを有するIPヘッダにおいて、“プロ
トコル”フォーマットには、その“データ”フィールド
に格納されるTCPセグメントデータのフォーマットを
規定する整数値6が設定される。また、“送信元IPア
ドレス”フィールドには、既に実行されている発信処理
(図8のステップ803の説明を参照)によって移動端
末制御ホスト装置104内の接続確立部113から移動
端末101の通信部111内の通信制御部321に対し
て付与されたIPアドレスが設定される。更に、“宛先
IPアドレス”フィールドには、音声制御ホスト装置1
08に割り当てられているIPアドレスが設定される。
【0142】そして、通信制御部321は、上述のIP
データグラムが“インフォメーション”フィールドに格
納され、その”インフォメーション”フィールドにIP
データグラムが格納されていることを示す16進値“00
21”が“プロトコル”フィールドに格納された図6(a)
に示されるフォーマットを有するPPPフレームを生成
し、通信制御部321内に設定されている経路情報(図
8のステップ803の説明を参照)に従って、上記PP
Pフレームを移動端末制御ホスト装置104に送信す
る。以降、上述のTCPセグメント、IPデータグラ
ム、及びPPPフレームとからなるデータ単位がインタ
ーネット105内を転送される場合に、そのデータ単位
を単にTCP/IPパケットと呼ぶ。
【0143】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、移動端末制御ホスト
装置104内のルーティング部114とインターネット
105内の特には図示しない中継ホスト装置によって、
音声サービスプロバイダ内のルータ装置106まで転送
された後、更に、LAN107を介して音声制御ホスト
装置108内のパケット送受信部115まで転送され
る。
【0144】パケット送受信部115は、転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダの“宛先IPアドレス”フィールドに自分で
ある音声制御ホスト装置108のIPアドレスが設定さ
れていることを識別することによって、そのTCP/I
Pパケットを受信する。
【0145】そして、パケット送受信部115は、受信
したTCP/IPパケットを構成するTCPセグメント
の“宛先ポート番号”フィールド及び“送信元ポート番
号”フィールドに文音声認識/フォーマット化のための
通信プロトコルを特定する16ビットの整数値が設定さ
れていることを確認することにより、移動端末通信制御
部116(図1)に対して受信通知を通知する。
【0146】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と文音声認識/フォーマット化の開始要求コマンド
とフォーマット種類データとを取り出して、それらのデ
ータを移動端末通信制御部116に引き渡す。
【0147】この結果、後述するようにして音声制御ホ
スト装置108から移動端末101に対して、送信許可
データが格納されたTCP/IPパケットが返信され
る。このTCP/IPパケットは、それを構成するIP
データグラムのIPヘッダに格納されている“宛先IP
アドレス”に基づいて、音声サービスプロバイダ内のル
ータ装置106と、インターネット105内の特には図
示しない中継ホスト装置によって、移動端末制御ホスト
装置104内のルーティング部114まで転送された
後、更に、PHS網103(図1)を介して移動端末1
01の通信部111内の通信制御部321(図3)まで
転送される。
【0148】移動端末101の通信部111内の通信制
御部321は、転送されてきたTCP/IPパケットを
構成するIPデータグラムのIPヘッダの“宛先IPア
ドレス”フィールドに自分である移動端末101(に一
時的又は動的)に割当てられているのIPアドレスが設
定されていることを識別することによって、そのTCP
/IPパケットを受信する。
【0149】そして、通信制御部321は、受信したT
CP/IPパケットを構成するTCPセグメントの“宛
先ポート番号”フィールド及び“送信元ポート番号”フ
ィールドに文音声認識/フォーマット化のための通信プ
ロトコルを特定する16ビットの整数値が設定されてい
ることを確認することにより、移動端末101の制御部
110内のCPU316に対して受信通知を通知する。
【0150】この通知と共に、通信制御部321は、受
信したTCP/IPパケットを構成するTCPセグメン
トの“データ”フィールドから送信許可データを取り出
し、それをCPU316に引き渡す。
【0151】CPU316は、上述の受信通知と送信許
可データを、前述した図4のステップ403で処理し、
その送信許可データをRAM317に記憶する。移動端
末101では、ユーザがタッチパネルを操作して文音声
認識/フォーマット化の開始を指示することによって、
CPU316が、前述した図4のステップ408で、図
3の入力部109内のマイク制御部303に対して、P
HS通話処理の開始指示、又は文音声認識/フォーマッ
ト化を実行するためのオフライン状態での音声入力処理
の開始を指示する。これにより、ユーザは、通話動作又
はオフライン状態での音声入力動作によってマイク30
1(図2の201)からの音声の入力を開始している。
【0152】これ以後、CPU316により前述した図
4のステップ401→402→403→404→401
の繰返しループの1処理として実行されるステップ40
4の送信処理において、図5のステップ505、506
の判定がYESとなり、必要に応じてステップ508で
再度の発信処理が実行された後、ステップ509で、図
3に示される入力部109内のマイク制御部303から
制御部110内のRAM317に転送されてきている音
声データの送信指示が、通信部111内の通信制御部3
21に対して依頼される。
【0153】この結果、通信制御部321は、まず、図
6(c) に示されるフォーマットを有するTCPセグメン
トを生成する。この場合に、図6(c) 及び図7(b) に示
されるフォーマットを有するTCPヘッダにおいて、
“送信元ポート番号”フィールド及び“宛先ポート番
号”フィールドには、文音声認識/フォーマット化のた
めの通信プロトコルを特定する16ビットの整数値が設
定される。そして、TCPセグメントの“データ”フィ
ールドには、図3に示される入力部109内のマイク制
御部303から制御部110内のRAM317に転送さ
れてきている音声データが格納される。
【0154】次に、通信制御部321は、上述のTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成する。この場合に、図6(b) 及び図7(a) に示さ
れるフォーマットを有するIPヘッダにおいて、“プロ
トコル”フォーマットには、その“データ”フィールド
に格納されるTCPセグメントデータのフォーマットを
規定する整数値6が設定される。また、“送信元IPア
ドレス”フィールドには、既に実行されている発信処理
(図8のステップ803の説明を参照)によって移動端
末制御ホスト装置104内の接続確立部113から移動
端末101の通信部111内の通信制御部321に対し
て付与されたIPアドレスが設定される。更に、“宛先
IPアドレス”フィールドには、音声制御ホスト装置1
08に割り当てられているIPアドレスが設定される。
【0155】そして、通信制御部321は、上述のIP
データグラムが“インフォメーション”フィールドに格
納され、その”インフォメーション”フィールドにIP
データグラムが格納されていることを示す16進値“00
21”が“プロトコル”フィールドに格納された図6(a)
に示されるフォーマットを有するPPPフレームを生成
し、通信制御部321内に設定されている経路情報(図
8のステップ803の説明を参照)に従って、上記PP
Pフレームを移動端末制御ホスト装置104に送信す
る。
【0156】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、移動端末制御ホスト
装置104内のルーティング部114とインターネット
105内の特には図示しない中継ホスト装置によって、
音声サービスプロバイダ内のルータ装置106まで転送
された後、更に、LAN107を介して音声制御ホスト
装置108内のパケット送受信部115まで転送され
る。
【0157】パケット送受信部115は、転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダの“宛先IPアドレス”フィールドに自分で
ある音声制御ホスト装置108のIPアドレスが設定さ
れていることを識別することによって、そのTCP/I
Pパケットを受信する。
【0158】そして、パケット送受信部115は、受信
したTCP/IPパケットを構成するTCPセグメント
の“宛先ポート番号”フィールド及び“送信元ポート番
号”フィールドに文音声認識/フォーマット化のための
通信プロトコルを特定する16ビットの整数値が設定さ
れていることを確認することにより、移動端末通信制御
部116(図1)に対して受信通知を通知する。
【0159】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから音声データを取り
出して、それらのデータを移動端末通信制御部116に
引き渡す。
【0160】この結果、移動端末通信制御部116は、
後述するようにして文音声認識/フォーマット化の制御
を実行し、文音声認識部117に対して受信した音声デ
ータの認識処理を実行させ、それによって得られる認識
音声文章データについてフォーマット文章作成部118
に対してフォーマット化を実行させる。そして、移動端
末通信制御部116は、後述するようにして、フォーマ
ット文章作成部118から得たフォーマット文章データ
が格納されたTCP/IPパケットを、移動端末101
に対して返信する。
【0161】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、音声サービスプロバ
イダ内のルータ装置106と、インターネット105内
の特には図示しない中継ホスト装置によって、移動端末
制御ホスト装置104内のルーティング部114まで転
送された後、更に、PHS網103(図1)を介して移
動端末101の通信部111内の通信制御部321(図
3)まで転送される。
【0162】移動端末101の通信部111内の通信制
御部321は、転送されてきたTCP/IPパケットを
構成するIPデータグラムのIPヘッダの“宛先IPア
ドレス”フィールドに自分である移動端末101(に一
時的又は動的)に割当てられているのIPアドレスが設
定されていることを識別することによって、そのTCP
/IPパケットを受信する。
【0163】そして、通信制御部321は、受信したT
CP/IPパケットを構成するTCPセグメントの“宛
先ポート番号”フィールド及び“送信元ポート番号”フ
ィールドに文音声認識/フォーマット化のための通信プ
ロトコルを特定する16ビットの整数値が設定されてい
ることを確認することにより、移動端末101の制御部
110内のCPU316に対して受信通知を通知する。
【0164】この通知と共に、通信制御部321は、受
信したTCP/IPパケットを構成するTCPセグメン
トの“データ”フィールドからフォーマット文章データ
を取り出し、それをCPU316に引き渡す。
【0165】CPU316は、上述の受信通知とフォー
マット文章データを、前述した図4のステップ402で
処理し、そのフォーマット化された文章をLCD表示部
311(図2の203)に表示する。
【0166】ユーザは、移動端末101のタッチパネル
を操作することにより、音声制御ホスト装置108に対
して文音声認識/フォーマット化の終了を示すための、
文音声認識/フォーマット化の終了要求コマンドを指示
することができる。
【0167】この場合に、上述のタッチパネルの操作
は、図3のタッチパネル制御部315において検出され
た後、制御部110内のCPU316(図3)によっ
て、それが実行される前述した図4の動作フローチャー
トに対応する制御動作において、ステップ401の判定
がYES、ステップ405及び406の判定がNOとな
って、ステップ409の他キー入力処理が実行されるこ
とにより、検出される。更に、ステップ404の送信処
理において、前述した図5のステップ501の判定がY
ESとなり、必要に応じてステップ503で発信処理が
実行された後、ステップ504において、移動端末10
1の“端末識別コード”と上述の文音声認識/フォーマ
ット化の終了要求コマンドの送信指示が、図3の通信部
111内の通信制御部321に対して依頼される。
【0168】この結果、通信制御部321はまず、“デ
ータ”フィールドに移動端末101を特定する“端末識
別コード”と文音声認識/フォーマット化の終了要求コ
マンドとが格納された図6(c) に示されるフォーマット
を有するTCPセグメントを生成し、次に、そのTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成し、更に、そのIPデータグラムが“インフォメ
ーション”フィールドに格納された図6(a) に示される
フォーマットを有するPPPフレームを生成し、それら
からなるTCP/IPパケットを送信する。この場合、
TCPヘッダ(図6(c) 、図7(b) )、IPヘッダ(図
6(b) 、図7(a) )、及び“プロトコル”フィールド
(図6(a) )に設定される各情報は、前述の文音声認識
/フォーマット化の開始要求コマンドが送信される場合
に設定される各情報と同一である。
【0169】この結果、上述のTCP/IPパケット
は、前述の文音声認識/フォーマット化の開始要求コマ
ンド等が格納されたTCP/IPパケットの場合と全く
同様にして、インターネット105を介して音声制御ホ
スト装置108内のパケット送受信部115まで転送さ
れる。
【0170】パケット送受信部115は、前述の文音声
認識/フォーマット化の開始要求コマンド等が格納され
たTCP/IPパケットが転送されてきた場合と全く同
様にして、転送されてきたTCP/IPパケットを受信
し、移動端末通信制御部116(図1)に対して受信通
知を通知する。
【0171】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と文音声認識/フォーマット化の終了要求コマンド
とを取り出して、それらのデータを移動端末通信制御部
116に引き渡す。
【0172】この結果、移動端末通信制御部116は、
後述するようにしてその移動端末101に対する文音声
認識/フォーマット化を終了する。 <移動端末通信制御部116、文音声認識部117、及
びフォーマット文章作成部118の概略動作>次に、音
声制御ホスト装置108内の移動端末通信制御部11
6、文音声認識部117、及びフォーマット文章作成部
118の概略動作について説明する。
【0173】移動端末通信制御部116は、文音声認識
/フォーマット化の開始要求コマンドを送信した移動端
末101に割当てられている“端末識別コード”(上記
コマンドを転送してきたTCPセグメントに格納されて
いる)毎に、図12に示されるデータ構造を有する処理
端末登録テーブルにエントリを登録すると共に、フォー
マット種類データに基づくフォーマット種類と、音声デ
ータの受信用のバッファファイル(音声バッファファイ
ル)と、認識音声文章データの一時保存用のバッファフ
ァイル(文章バッファファイル)と、フォーマット文章
データの送信用のバッファファイル(フォーマット文章
バッファファイル)とを音声制御ホスト装置108が管
理するファイルシステム上に作成する。また、移動端末
通信制御部116は、上記エントリとファイルの登録に
成功すると、上記コマンドを転送してきたIPデータグ
ラムに格納されていた“送信元IPアドレス”の移動端
末101に向けて、送信許可データを返信する。
【0174】移動端末通信制御部116は、それ以後移
動端末101から受信した音声データを、その“送信元
IPアドレス”(それを転送してきたIPデータグラム
に格納されている)に対応する処理端末登録テーブルの
エントリから特定される音声バッファファイルに追加書
き込みする。
【0175】文音声認識部117は、図12に示される
処理端末登録テーブルのエントリ毎に、各エントリから
特定される音声バッファファイルに音声データが受信さ
れていればそれに対して文音声認識処理を実行し、その
結果得られる認識音声文章データを上記各エントリに対
応する文章バッファファイルに追加書き込みする。
【0176】フォーマット文章作成部118(図1)
は、図12に示される処理端末登録テーブルのエントリ
毎に、各エントリから特定される文章バッファファイル
に認識音声文章データが得られていればそれに対してフ
ォーマット化を実行し、その結果得られるフォーマット
文章データを上記各エントリに対応するフォーマット文
章バッファファイルに追加書き込みする。
【0177】また、移動端末通信制御部116は、処理
端末登録テーブルのエントリ毎に、各エントリから特定
されるフォーマット文章バッファファイルにフォーマッ
ト文章データが得られていれば、それを各エントリに登
録されている“送信元IPアドレス”の移動端末101
に向けて返信する。
【0178】移動端末通信制御部116は、文音声認識
/フォーマット化の終了要求コマンドを受信した処理端
末登録テーブルのエントリ、又は最終アクセス時刻が現
在時刻から一定時間前の時刻よりも更に前の時刻である
処理端末登録テーブルのエントリについて、そのエント
リの内容を削除し、それから特定される各バッファファ
イルを削除する。 <移動端末通信制御部116の詳細動作>図9〜図11
は、上記機能を実現するために、移動端末通信制御部1
16が実行する制御動作を示す動作フローチャートであ
る。この動作フローチャートは、移動端末通信制御部1
16を制御する特には図示しないプロセッサが、特には
図示しない制御プログラムを実行する動作として実現さ
れる。
【0179】まず、ステップ901で、音声制御ホスト
装置108内のパケット送受信部115(図1)から受
信通知が通知されたか否かが判定される。前述したよう
に、パケット送受信部115は、インターネット105
から転送されてきたTCP/IPパケットを構成するI
PデータグラムのIPヘッダの“宛先IPアドレス”フ
ィールドに自分である音声制御ホスト装置108のIP
アドレスが設定されていることを識別することにより、
そのTCP/IPパケットを受信し、かつ、それを構成
するTCPセグメントの“宛先ポート番号”フィールド
及び“送信元ポート番号”フィールドに文音声認識/フ
ォーマット化のための通信プロトコルを特定する16ビ
ットの整数値が設定されていることを確認することによ
り、移動端末通信制御部116に対して受信通知を通知
する。この受信通知は、文音声認識/フォーマット化の
開始要求コマンドとフォーマット種類データ、文音声認
識/フォーマット化の対象である音声データ、又は文音
声認識/フォーマット化の終了要求コマンドの何れかに
関する受信通知である。
【0180】パケット送受信部115から受信通知が通
知されステップ901の判定がYESとなると、ステッ
プ902で、パケット送受信部115から受信通知と共
に引き渡されたデータが取り込まれる。この場合に、受
信通知が、文音声認識/フォーマット化の開始要求コマ
ンドの受信通知である場合には、“送信元IPアドレ
ス”と“端末識別コード”と上記コマンドとフォーマッ
ト種類データとが取り込まれる。また、受信通知が、音
声データの受信通知である場合には、“送信元IPアド
レス”と音声データとが取り込まれる。更に、受信通知
が、文音声認識/フォーマット化の終了要求コマンドの
受信通知である場合には、“端末識別コード”とそのコ
マンドとが取り込まれる。
【0181】ステップ902の処理の後に、図9のステ
ップ903、図10のステップ907、又は図10のス
テップ909の判定が順に検査され、何れかの判定結果
がYESとなる。即ち、ステップ902でパケット送受
信部115から引き渡されたデータが、文音声認識/フ
ォーマット化の開始要求コマンドに関するものである場
合はステップ903の判定がYESとなってステップ9
04〜906が実行され、音声データに関するものであ
る場合は図10のステップ907の判定がYESとなっ
てステップ908が実行され、文音声認識/フォーマッ
ト化の終了要求コマンドに関するものである場合には図
10のステップ909の判定がYESとなってステップ
910と911が実行される。
【0182】パケット送受信部115から受信通知が通
知されておらずステップ901の判定がNOの場合、又
は上述の各コマンド又は音声データの受信に対応する処
理の後には、図11のステップ912と913でフォー
マット文章データの送信処理が実行され、それに続くス
テップ914及び915で最終アクセス時刻が一定時間
以上前である移動端末101との通信を終了させるため
の処理が行われた後、再び図9のステップ901の判定
処理に戻る。
【0183】ステップ901の判定がYESであり、ス
テップ902でパケット送受信部115から引き渡され
たデータが文音声認識/フォーマット化の開始要求コマ
ンドに関するものである場合において、ステップ903
の判定がYESとなって実行されるステップ904〜9
05の処理について説明する。
【0184】まず、ステップ904では、音声データの
受信用のバッファファイルである音声バッファファイル
と、認識音声文章の一時保存用のバッファファイルであ
る文章バッファファイルと、フォーマット文章データの
送信用のバッファファイルであるフォーマット文章バッ
ファファイルとが、音声制御ホスト装置108が管理す
るファイルシステム上に作成される。
【0185】次に、ステップ905では、移動端末通信
制御部116内の特には図示しないメモリに記憶される
図12に示されるデータ構造を有する処理端末登録テー
ブルに、1つのエントリ(横1行のデータ組)が確保さ
れる。そして、そのエントリに、“端末識別コード”
と、“送信元IPアドレス”と、フォーマット種類デー
タに基づくフォーマット種類と、最終アクセス時刻と、
音声バッファファイル名と、文章バッファファイル名
と、フォーマット文章バッファファイル名とが、登録さ
れる。“端末識別コード”は、ステップ902でパケッ
ト送受信部115から引き渡されたデータであり、移動
端末101から転送されてきたTCP/IPパケットを
構成するTCPセグメントの“データ”フィールドに格
納されていたものである(図6(c) 参照)。“送信元I
Pアドレス”は、やはりステップ902においてパケッ
ト送受信部115から引き渡されたデータであり、移動
端末101から転送されてきたTCP/IPパケットを
構成するIPデータグラムのIPヘッダに格納されてい
たものである(図6(b) 、図7(a) 参照)。最終アクセ
ス時刻には、現在時刻が設定される。各バッファファイ
ル名は、ステップ904で作成された各ファイルを示す
ファイル名である。
【0186】ステップ905の処理の後、ステップ90
6では、ステップ902でパケット送受信部115から
引き渡され処理端末登録テーブルの上記エントリに登録
された“送信元IPアドレス”に向けて、送信許可デー
タが返信される。
【0187】具体的には、移動端末通信制御部116
は、“送信元IPアドレス”への送信許可データの返信
を、パケット送受信部115(図1)に対して依頼す
る。この結果、パケット送受信部115は、まず、図6
(c) に示されるフォーマットを有するTCPセグメント
を生成する。この場合、図6(c) 及び図7(b) に示され
るフォーマットを有するTCPヘッダにおいて、“送信
元ポート番号”フィールド及び“宛先ポート番号”フィ
ールドには、文音声認識/フォーマット化のための通信
プロトコルを特定する16ビットの整数値が設定され
る。そして、TCPセグメントの“データ”フィールド
には、送信許可データが格納される。
【0188】次に、パケット送受信部115は、上述の
TCPセグメントが“データ”フィールドに格納された
図6(b) に示されるフォーマットを有するIPデータグ
ラムを生成する。この場合に、図6(b) 及び図7(a) に
示されるフォーマットを有するIPヘッダにおいて、
“プロトコル”フォーマットには、その“データ”フィ
ールドに格納されるTCPセグメントデータのフォーマ
ットを規定する整数値6が設定される。また、“送信元
IPアドレス”フィールドには、音声制御ホスト装置1
08に割当てられているIPアドレスが設定される。更
に、“宛先IPアドレス”フィールドには、図9のステ
ップ902でパケット送受信部115から引き渡された
“送信元IPアドレス”が設定される。
【0189】そして、パケット送受信部115は、上述
のIPデータグラムが格納されたLAN107上のプロ
トコルに従ったフレームを生成し、それをLAN107
に送出する。例えば、LAN107がイーサネット方式
によるローカルエリアネットワークであれば、上記フレ
ームは、イーサネットフレームである。
【0190】上記フレームとIPデータグラムとTCP
セグメントとから構成されるTCP/IPパケットは、
それを構成するIPデータグラムのIPヘッダに格納さ
れている“宛先IPアドレス”に基づいて、ルータ装置
106及びインターネット105を介して移動端末制御
ホスト装置104まで転送された後、更に、PHS網1
03及び無線基地(又は有線接続装置)102を介し
て、移動端末101の通信部111内の通信制御部32
1(図3)まで転送される。
【0191】これ以降、移動端末101から音声制御ホ
スト装置108へは、前述したようにして、音声データ
が転送されてくる。ステップ906の処理の後は、図1
1のステップ912と913でフォーマット文章データ
の送信処理が実行され、それに続くステップ914及び
915で最終アクセス時刻が一定時間以上前である移動
端末101との通信を終了させるための処理が行われた
後、再び図9のステップ901の判定処理に戻る。
【0192】次に、図9のステップ901の判定がYE
Sであり、ステップ902でパケット送受信部115か
ら引き渡されたデータが音声データである場合におい
て、図10のステップ907の判定がYESとなって実
行されるステップ908の処理について説明する。
【0193】即ち、ステップ908では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“送信元IPアドレス”が記憶されている処理端
末登録テーブル(図12)のエントリが検索され、該当
するエントリに記憶されている音声バッファファイル名
に対応する音声バッファファイル(図9のステップ90
4参照)に、図9のステップ902でパケット送受信部
115から引き渡された音声データが追加書き込みされ
る。なお、追加書込み時の音声バッファファイルのサイ
ズは、音声制御ホスト装置108が管理するファイルシ
ステムによって自動的に調整される。
【0194】また、ステップ908では、上記該当する
エントリに記憶されている最終アクセス時刻が、現在時
刻に更新される。このようにして、移動端末101毎
(“端末識別コード”毎)の音声バッファファイルを介
して、移動端末通信制御部116から文音声認識部11
7(図1)に音声データが引き渡される。文音声認識部
117は、後述するように、図12に示される処理端末
登録テーブルのエントリ毎に、各エントリから特定され
る音声バッファファイルに音声データが受信されていれ
ばそれに対して文音声認識処理を実行し、その結果得ら
れる認識音声文章データを上記各エントリに対応する文
章バッファファイルに追加書き込みすることになる。更
に、フォーマット文章作成部118(図1)は、後述す
るように、図12に示される処理端末登録テーブルのエ
ントリ毎に、各エントリから特定される文章バッファフ
ァイルに認識音声文章データが得られていればそれに対
してフォーマット化を実行し、その結果得られるフォー
マット文章データを上記各エントリに対応するフォーマ
ット文章バッファファイルに追加書き込みすることにな
る。
【0195】ステップ908の処理の後は、図11のス
テップ912と913でフォーマット文章データの送信
処理が実行され、それに続くステップ914及び915
で最終アクセス時刻が一定時間以上前である移動端末1
01との通信を終了させるための処理が行われた後、再
び図9のステップ901の判定処理に戻る。
【0196】次に、図9のステップ901の判定がYE
Sであり、ステップ902でパケット送受信部115か
ら引き渡されたデータが文音声認識/フォーマット化の
終了要求コマンドに関するものである場合において、図
10のステップ909の判定がYESとなって実行され
るステップ910と911の処理について説明する。
【0197】まず、ステップ910で、図9のステップ
902でパケット送受信部115から引き渡されたのと
同じ“端末識別コード”が記憶されている処理端末登録
テーブル(図12)のエントリの内容が全て削除され
る。
【0198】次に、ステップ911で、上記エントリに
記憶されていた音声バッファファイル名、文章バッファ
ファイル名、及びフォーマット文章バッファファイル名
に対応する各バッファファイルが、音声制御ホスト装置
108が管理するファイルシステム上から削除される。
【0199】ステップ911の処理の後は、図11のス
テップ912と913でフォーマット文章データの送信
処理が実行され、それに続くステップ914及び915
で最終アクセス時刻が一定時間以上前である移動端末1
01との通信を終了させるための処理が行われた後、再
び図9のステップ901の判定処理に戻る。
【0200】パケット送受信部115から受信通知が通
知されておらず図9のステップ901の判定がNOの場
合、又は上述の各コマンド又は音声データの受信に対応
する処理の後に実行される、図11のステップ912と
913の処理、及びそれに続くステップ914と915
の処理について説明する。
【0201】これらの処理において、フォーマット文章
作成部118から得られているフォーマット文章データ
の送信処理が実行される。まず、ステップ912では、
処理端末登録テーブル(図12)において、フォーマッ
ト文章バッファファイル名に対応するフォーマット文章
バッファファイルにフォーマット文章データが存在する
エントリがあるか否かが判定される。
【0202】そのようなエントリが無くステップ912
の判定がNOの場合には、ステップ913でのフォーマ
ット文章データの送信処理は実行されずに、ステップ9
14及び915の処理に進む。
【0203】上述のようなエントリが1つ以上存在しス
テップ912の判定がYESの場合には、ステップ91
3で、該当するエントリ毎に、そのエントリに記憶され
ている“送信元IPアドレス”に向けて、そのエントリ
に記憶されているフォーマット文章バッファファイル名
に対応するフォーマット文章バッファファイル内のフォ
ーマット文章データが送信され、その送信されたフォー
マット文章データが上記フォーマット文章バッファファ
イルから削除される。なお、削除時のフォーマット文章
バッファファイルのサイズは、音声制御ホスト装置10
8が管理するファイルシステムによって自動的に調整さ
れる。
【0204】上述のステップ913の処理の後又はステ
ップ912の判定がNOである場合に、ステップ914
が実行される。ここでは、処理端末登録テーブル(図1
2)のエントリのうち、最終アクセス時刻が現在時刻か
ら一定時間前の時刻より更に前の時刻であるエントリが
検出され、そのエントリの内容が全て削除される。
【0205】また、ステップ915で、上記エントリに
記憶されていた音声バッファファイル名、文章バッファ
ファイル名、及びフォーマット文章バッファファイル名
に対応する各バッファファイルが、音声制御ホスト装置
108が管理するファイルシステム上から削除される。
【0206】ステップ915の処理の後、再び図9のス
テップ901の判定処理に戻る。 <文音声認識部117の詳細動作>図13は、文音声認
識部117の機能ブロック図である。
【0207】この文音声認識部117は、前述したよう
に、図12に示される処理端末登録テーブルのエントリ
毎に、各エントリから特定される音声バッファファイル
に音声データが受信されていればそれに対して文音声認
識を実行し、その結果得られる認識音声文章データを上
記各エントリに対応する文章バッファファイルに追加書
き込みする。
【0208】上述のエントリ毎の音声バッファファイル
からの音声データの読出しと文章バッファファイルへの
認識音声文章データの書込みは、図13の入出力制御部
1309が制御する。まず、この入出力制御部1309
の制御動作につき説明する。図14は、入出力制御部1
309が実行する制御動作を示す動作フローチャートで
ある。この動作フローチャートは、入出力制御部130
9を制御する特には図示しないプロセッサが、特には図
示しない制御プログラムを実行する動作として実現され
る。
【0209】まず、ステップ1401では、処理端末登
録テーブル(図12)において、音声バッファファイル
名に対応する音声バッファファイルに音声データが記憶
されているエントリが存在するか否かが判定される。
【0210】そのようなエントリが存在しステップ14
01の判定がYESならば、ステップ1402で、該当
するエントリ毎に、そのエントリに記憶されている“端
末識別コード”と、そのエントリに記憶されている音声
バッファファイル名に対応する音声バッファファイル上
の音声データとが、図13の入力バッファキュー130
1に書き込まれ、その音声データが音声バッファファイ
ルから削除される。
【0211】入力バッファキュー1301は、それがキ
ューイングしている音声データを、音声区間検出部13
02に順次流し込む機能を有する。音声区間検出部13
02以降に接続されている音声分析部1303、音素認
識部1304、単語認識部1306、及び文章認識部1
307は、データ処理パイプラインを形成しており、相
互に独立して、入力データを処理する機能を有する。ま
た、1302〜1307の各部分は、現在処理している
音声データに対応する“端末識別コード”(入力バッフ
ァキュー1301から入力される)を認識することがで
きる。従って、最終的に文章認識部1307から出力バ
ッファキュー1308へは、“端末識別コード”と認識
音声文章データとの組が出力されることになる。
【0212】ステップ1402の処理の後又はステップ
1401の判定がNOの場合には、ステップ1403
で、図13の出力バッファキュー1308に、“端末識
別コード”と認識音声文章データの組が得られているか
否かが判定される。
【0213】そのような組が得られておりステップ14
03の判定がYESならば、ステップ1404で、出力
バッファキュー1308内の組毎に、その組の“端末識
別コード”に対応する処理端末登録テーブルのエントリ
について、そのエントリに記憶されている文章バッファ
ファイル名に対応する文章バッファファイルに、出力バ
ッファキュー1308内の組の認識音声文章データが追
加書き込みされる。
【0214】ステップ1404の処理の後又はステップ
1403の判定がNOの場合には、再びステップ140
1の判定処理が実行される。以上のようにして文音声認
識部117は、流れ作業的に効率良く、複数の移動端末
101から要求された音声データに対する文音声認識処
理を実行することができる。
【0215】次に、文音声認識処理を実現するための1
302〜1307の各部分の機能につき、以下に説明す
る。なお、以下に説明する各方式は、例えば、文献「電
子・情報工学入門シリーズ2 音響・音声工学」(古井
著、近代科学社)第14章」を参照することにより、実
現することができる。
【0216】音声区間検出部1302は、入力バッファ
キュー1301から入力される音声データのサンプル時
系列について、音声が存在する区間を検出する。より具
体的には、音声区間検出部1302は、所定サンプル
(例えば8kHzサンプリングデータについて32乃至
256サンプル)ずつの平均パワー(電力)を計算し、
その平均パワーが所定の閾値を超えた状態が所定回数以
上連続して続く区間を、音声区間として検出する。これ
により、音声が存在しない区間で文音声が誤認識されて
しまうのを防ぐことができる。
【0217】音声分析部1303は、音声区間検出部1
302から出力される音声データについて、その特徴分
析を行うことによって、特徴量パラメータベクトルを検
出する。音声分析方式としては、以下の周知の分析方式
の何れかを採用することができる。 (1)音声データ時系列を入力とする帯域フィルタバン
クの各出力を平滑化し、それらの平滑化された各出力を
特徴量パラメータベクトルの要素とする方式。 (2)連続する所定サンプルずつの音声データ時系列を
入力とする高速フーリエ変換(FFT)によって計算し
た各短時間スペクトル成分を平滑化し、それらの平滑化
された各成分値を特徴量パラメータベクトルの要素とす
る方式。 (3)連続する所定サンプルずつの音声データ時系列を
入力とするケプストラム分析によってケプストラム係数
群を計算し、それらを特徴量パラメータベクトルの要素
とする方式。 (4)上記(3)のケプストラム係数群に加えて、それ
らに対するΔ(デルタ)ケプストラム(ケプストラムの
微係数)群を計算し、それらを特徴量パラメータベクト
ルの要素に加える方式。 (5)連続する所定サンプルずつの音声データ時系列を
入力とする線形予測分析(LPC分析、更に具体的には
線スペクトル対分析:LSP分析)によって、LPC
(LSP)係数群を計算し、それらを特徴量パラメータ
ベクトルの要素とする方式。 (6)連続する所定サンプルずつの音声データ時系列を
入力とする自己相関分析によって自己相関関数を計算
し、それらに基づいて検出される音声のピッチ基本周波
数パターンを特徴量パラメータベクトルの1つの要素に
加える方式。 次に、音素認識部1304は、所定フレーム周期(所定
サンプル)毎に音声分析部1303から出力される特徴
量パラメータベクトルと、音素標準パターン辞書130
5に蓄積されている各音素の特徴量パラメータベクトル
の標準パターンとの類似度(距離)を計算し、その結果
所定フレーム周期毎に得られる類似度の高い音素の組を
その類似度と共に音素ラティスデータとして出力する。
音素認識部1304は、音素の認識誤りの発生を回避す
るために、所定フレーム周期毎に最終的な音素を決定す
ることはせずに、音素候補を表にした音素ラティスデー
タの形式で結果データを出力する。
【0218】単語認識部1306は、所定フレーム周期
毎に音素認識部1304から出力される音素ラティスデ
ータを入力として、所定フレーム周期毎に単語候補を表
にして単語ラティスデータを出力する。単語認識方式と
しては、以下の周知の分析方式の何れかを採用すること
ができる。 (1)単語認識部1306は、音素認識部1304から
出力される複数のフレーム周期にまたがる音素ラティス
データの時系列と、単語辞書に蓄積されている全音素標
準パターン系列とで、時間正規化(DPマッチング or
DTW:DynamicTime Warping)を実行し、単語ラティ
スデータを出力する。この場合も、単語認識部1306
は、単語の認識誤りの発声を回避するために、所定フレ
ーム周期毎に最終的な単語を決定することはせずに、単
語候補を表にした単語ラティスデータの形式で結果デー
タを出力する。 (2)単語認識部1306は、HMM(Hidden Markov
Model )によって、全単語をモデル化し、音素認識部1
304から出力される複数のフレーム周期にまたがる音
素ラティスデータの時系列をHMM分析部に入力し、生
起確率の大きいものから複数個のモデルに対応する各単
語を、単語候補である単語ラティスデータとして出力す
る。 最後に、文章認識部1307は、その第1段処理とし
て、単語認識部1306から出力される単語ラティスデ
ータを順次入力し、日本語(英語でもよい)の文節構造
に関する文節内文法(語順規則)に従って、種々の文節
の可能性を文節ラティスデータとして算出する。そし
て、文章認識部1307は、その第2段処理として、文
節間文法に従って文節間の意味的な係り受けを解析し、
認識音声文章データを決定し、それを、入力バッファキ
ュー1301から順次伝達されてきた“端末識別コー
ド”と対について、出力バッファキュー1308に書き
込む。 <フォーマット文章作成部118の詳細動作>図15
は、フォーマット文章作成部118の機能ブロック図で
ある。
【0219】このフォーマット文章作成部118は、前
述したように、図12に示される処理端末登録テーブル
のエントリ毎に、各エントリから特定される文章バッフ
ァファイルに文音声認識部117によって認識音声文章
データが得られていればそれに対してフォーマット化を
実行し、その結果得られるフォーマット文章データを上
記各エントリに対応するフォーマット文章バッファファ
イルに追加書き込みする。
【0220】上述のエントリ毎の文章バッファファイル
からの認識音声文章データの読出しとフォーマット文章
バッファファイルへのフォーマット文章データの書込み
は、図15の入出力制御部1508が制御する。まず、
この入出力制御部1508の制御動作につき説明する。
図16は、入出力制御部1508が実行する制御動作を
示す動作フローチャートである。この動作フローチャー
トは、入出力制御部1508を制御する特には図示しな
いプロセッサが、特には図示しない制御プログラムを実
行する動作として実現され、前述した、文音声認識部1
17内の図13に示される入出力制御部1309と同様
の制御動作を実現する。
【0221】まず、ステップ1601では、処理端末登
録テーブル(図12)において、文章バッファファイル
名に対応する文章バッファファイルに認識音声文章デー
タが記憶されているエントリが存在するか否かが判定さ
れる。
【0222】そのようなエントリが存在しステップ16
01の判定がYESならば、ステップ1602で、該当
するエントリ毎に、そのエントリに記憶されている“端
末識別コード”と、そのエントリに記憶されている文章
バッファファイル名に対応する文章バッファファイル上
の認識音声文章データとが、図15の入力バッファキュ
ー1501に書き込まれ、その認識音声文章データが文
章バッファファイルから削除される。
【0223】入力バッファキュー1501は、それがキ
ューイングしている認識音声文章データを、フィールド
認識部1502に順次流し込む機能を有する。フィール
ド認識部1502以降に接続されている不要語削除部1
504及びフォーマット文章データ作成部1506は、
図13に示される文音声認識部117の構成の場合と同
様に、データ処理パイプラインを形成しており、相互に
独立して、入力データを処理する機能を有する。また、
1502〜1506の各部分は、現在処理している認識
音声文章データに対応する“端末識別コード”(入力バ
ッファキュー1501から入力される)を認識すること
ができる。従って、最終的にフォーマット文章データ作
成部1506から出力バッファキュー1507へは、
“端末識別コード”とフォーマット文章データとの組が
出力されることになる。
【0224】ステップ1602の処理の後又はステップ
1601の判定がNOの場合には、ステップ1603
で、図15の出力バッファキュー1507に、“端末識
別コード”とフォーマット文章データの組が得られてい
るか否かが判定される。
【0225】そのような組が得られておりステップ16
03の判定がYESならば、ステップ1604で、出力
バッファキュー1507内の組毎に、その組の“端末識
別コード”に対応する処理端末登録テーブルのエントリ
について、そのエントリに記憶されているフォーマット
文章バッファファイル名に対応するフォーマット文章バ
ッファファイルに、出力バッファキュー1507内の組
のフォーマット文章データが追加書き込みされる。
【0226】ステップ1604の処理の後又はステップ
1603の判定がNOの場合には、再びステップ160
1の判定処理が実行される。以上のようにしてフォーマ
ット文章作成部118は、文音声認識部117の場合と
同様に、流れ作業的に効率良く、複数の移動端末101
からの要求に基づいて文音声認識部117において得ら
れた認識音声文章データに対するフォーマット化を実行
することができる。
【0227】次に、フォーマット化を実現するための1
502〜1505の各部分の機能につき、以下に説明す
る。フィールド認識部1502は、入力バッファキュー
1501から順次入力される“端末識別コード”と認識
音声文章データとの組のそれぞれについて、その組の
“端末識別コード”に対応する処理端末登録テーブルの
エントリに記憶されているフォーマット種類を判別し、
フォーマット種類別フィールド辞書1503を参照しな
がら、上記組の認識音声文章データのフィールドを判別
し、そのフィールド情報と上記“端末識別コード”及び
認識音声文章データの組を不要語削除部1504に出力
する。
【0228】具体的には、フォーマット種類別フィール
ド辞書1503には、フォーマット種類別に、フィール
ド名と、そのフィールド名に関連するキーワードとが記
憶されている。そして、フィールド認識部1502は、
まず、処理端末登録テーブルから得たフォーマット種類
によってフォーマット種類別フィールド辞書1503上
で参照する検索範囲を指定し、その範囲から、認識音声
文章データに含まれる単語がキーワードとして登録され
ているフィールド名を検索し、それを認識音声文章デー
タのフィールドであると判定する。
【0229】例えば、移動端末101のユーザは、アド
レス帳を入力したい場合に、文音声認識/フォーマット
化の開始要求コマンドと共にフォーマット種類データと
して“アドレス帳”を指定する。その後、ユーザは、
“氏名はカシオ太郎です”“会社はカシオ計算機株式会
社です”“事業所は東京研究所です”“部署は発明部で
す”“住所は東京都東京市東京町1の1の1です”“電
話は0000の00の0000です”“ファックスは0
000の00の1111です”等と順次発音する。これ
らの発音内容は、音声制御ホスト装置108内の文音声
認識部117によって認識音声文章データとして認識さ
れる。
【0230】そして、フォーマット文章作成部118
は、例えば認識音声文章データ“氏名はカシオ太郎で
す”を入力した場合、まず、フォーマット種類データ
“アドレス帳”によって、フォーマット種類別フィール
ド辞書1503上の“アドレス帳”フォーマットに対応
する検索範囲を指定する。そして、フォーマット文章作
成部118は、その検索範囲から、認識音声文章データ
に含まれる単語“氏名”がキーワードとして登録されて
いるフィールド名“氏名”を検索し、それを認識音声文
章データのフィールドであると判定する。なお、フォー
マット種類別フィールド辞書1503の上述の検索範囲
のフィールド名“氏名”には、キーワード“氏名”のみ
ならず、“名前”“なまえ”“しめい”“名”“な”
“名字”“みょうじ”“ネーム”等のキーワードも登録
されている。これにより、“氏名”フィールドに対する
ユーザによる様々な指定方法に対処できる。
【0231】また、フォーマット文章作成部118は、
例えば認識音声文章データ“会社はカシオ計算機株式会
社です”を入力した場合、まずフォーマット種類データ
“アドレス帳”により、フォーマット種類別フィールド
辞書1503上の“アドレス帳”フォーマットに対応す
る検索範囲を指定する。そして、フォーマット文章作成
部118は、その検索範囲から、認識音声文章データに
含まれる単語“会社”がキーワードとして登録されてい
るフィールド名“会社”を検索し、それを認識音声文章
データのフィールドであると判定する。なお、フォーマ
ット種類別フィールド辞書1503の上述の検索範囲の
フィールド名“会社”には、キーワード“会社”のみな
らず、“かいしゃ”“企業”“きぎょう”等のキーワー
ドも登録されている。
【0232】認識音声文章データが、“事業所は東京研
究所です”“部署は発明部です”“住所は東京都東京市
東京町1の1の1です”“電話は0000の00の00
00です”“ファックスは0000の00の1111で
す”等である場合も、全く同様である。
【0233】更に、フォーマット種類が、スケジュール
帳やメモ帳等である場合にも、全く同様に処理できる。
続いて、不要語削除部1504は、フィールド認識部1
502から出力されるフィールド情報と“端末識別コー
ド”及び認識音声文章データの組について、不要語辞書
1505を参照することにより、認識音声文章データか
ら、“は”“です”等の不要語を削除し、その結果得ら
れる認識音声文章データを、上記フィールド情報及び
“端末識別コード”と共に、フォーマット文章データ作
成部1506に出力する。
【0234】その結果、フォーマット文章データ作成部
1506は、入力されたフィールド情報と認識音声文章
データとに基づいて、フォーマット文章データを作成
し、それを、入力された“端末識別コード”と共に、出
力バッファキュー1507に書き込む。例えば、フォー
マット種類がアドレス帳である場合には、“氏名:カシ
オ太郎”“会社:カシオ計算機株式会社”“事業所:東
京研究所”“部署:発明部”“住所:東京都東京市東京
町1−1−1”“電話:0000−00−0000”
“ファックス:0000−00−1111”などのフォ
ーマット文章データが作成される。 <他の実施の形態>以上説明した実施の形態では、移動
端末101は、PHS端末であって、移動端末101と
音声制御ホスト装置108とは、PHS網103とイン
ターネット105を介して接続されている。しかし、本
発明は、これに限られるものではなく、無線又は有線に
よって間接的又は直接的に音声制御ホスト装置108に
接続される形態であれば、どのような形態であっても本
発明をそれに適用することができる。
【0235】
【発明の効果】本発明によれば、移動端末は、高度な音
声認識環境を設備する必要がなく実用的な精度を有する
音声認識機能及びフォーマット文章データ作成機能の提
供を低コストで受けることが可能となる。
【0236】また、本発明によれば、現在全国的及び全
世界的に普及しつつあるパーソナルハンディホンシステ
ム通信網及びインターネットを経由することにより、実
用的な精度を有する音声認識機能及びフォーマット文章
データ作成機能の提供をより低コスト及び手軽に受ける
ことができると同時に、本発明が提供する機能とパーソ
ナルハンディホンシステム通話機能及びインターネット
アクセス機能とを、シームレスに結合することが可能と
なる。
【0237】更に、本発明によれば、移動端末と音声制
御ホスト装置とを全世界的に容易に特定できると共に、
音声認識/フォーマット文章データ作成処理サービスと
他の情報処理サービスとの共存を容易に実現することが
可能となる。
【0238】また、本発明によれば、ホスト装置側の負
荷分散を容易に実現することが可能である。
【図面の簡単な説明】
【図1】全体システム構成図である。
【図2】移動端末の外観図である。
【図3】移動端末の機能ブロック図である。
【図4】移動端末の処理の全体動作フローチャートであ
る。
【図5】送信処理の動作フローチャートである。
【図6】通信データのフォーマット図である。
【図7】IPヘッダとTCPヘッダのフォーマット図で
ある。
【図8】PPPを用いた発信処理の動作フローチャート
である。
【図9】移動端末通信制御部の動作フローチャート(そ
の1)である。
【図10】移動端末通信制御部の動作フローチャート
(その2)である。
【図11】移動端末通信制御部の動作フローチャート
(その3)である。
【図12】処理端末登録テーブルのデータ構成図であ
る。
【図13】文音声認識部の構成図である。
【図14】音声認識部内の入出力制御部の動作フローチ
ャートである。
【図15】フォーマット文章作成部の動作フローチャー
トである。
【図16】フォーマット文章作成部内の入出力制御部の
動作フローチャートである。
【符号の説明】
101 移動端末 102 無線基地(有線接続装置) 103 PHS網(公衆電話網、ISDN網) 104 移動端末制御ホスト装置 105 インターネット 106 ルータ装置 107 LAN(ローカルエリアネットワーク) 108 音声制御ホスト装置 109 入力部 110 制御部 111 通信部 112 出力部 113 接続確立部 114 ルーティング部 115 パケット送受信部 116 移動端末通信制御部 117 文音声認識部 118 フォーマット文章作成部 201、301 マイク 202、304 カメラ(CCDカメラ) 203、311 LCD表示部 204、308 スピーカ 205、323 無線アンテナ 206、325 ソケット(通信用) 207 ICカードスロット 208 光送受信機(光通信用) 302、305 A/D変換部 303 マイク制御部 306、313 メモリ 307 カメラ制御部 309 D/A変換部 310 スピーカ制御部 312 LCDドライバ 314 LCD制御部 315 タッチパネル制御部 316 CPU 317 RAM 318 ROM 319 ICカードインタフェース部 320 ICカード 321 通信制御部 322 無線ドライバ 324 有線ドライバ 1301 入力バッファキュー 1302 音声区間検出部 1303 音声分析部 1304 音素認識部 1305 音素標準パターン辞書 1306 単語認識部 1307 文章認識部 1308 出力バッファキュー 1309 入出力制御部 1501 入力バッファキュー 1502 フィールド認識部 1503 フォーマット種類別フィールド辞書 1504 不要語削除部 1505 不要語辞書 1506 フォーマット文章データ作成部 1507 出力バッファキュー 1508 出力バッファキュー 1509 入出力制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04M 3/42 H04B 7/26 109M

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 移動端末がホスト装置と通信する通信シ
    ステムであって、 前記移動端末内に、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記ホスト装置である音声制御ホスト装置に接続する
    ホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力
    手段から入力される音声データを前記音声制御ホスト装
    置に送信する音声データ送信手段と、 前記音声制御ホスト装置から返信されるフォーマット文
    章データを受信するフォーマット文章データ受信手段
    と、 該受信されたフォーマット文章データを表示又は編集す
    るフォーマット文章データ表示/編集手段と、 を含み、 前記音声制御ホスト装置内に、 前記移動端末内のホスト接続手段による接続動作に応答
    して、前記移動端末を識別して接続する移動端末接続手
    段と、 現在接続されている移動端末毎に、前記音声データを受
    信する音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信
    手段により受信された音声データに対して音声認識処理
    を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段に
    よる音声認識処理によって得られる認識音声データ中の
    フィールドを判別することにより、該認識音声データの
    内容を表わすフォーマット文章データを作成するフォー
    マット文章データ作成手段と、 現在接続されている移動端末毎に、前記フォーマット文
    章データ作成手段によって作成されるフォーマット文章
    データを、それに対応する移動端末に返信するフォーマ
    ット文章データ返信手段と、 を含む、 ことを特徴とする移動端末音声認識/フォーマット文章
    作成システム。
  2. 【請求項2】 移動端末がホスト装置と通信する通信シ
    ステムに使用される前記移動端末であって、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記ホスト装置である音声制御ホスト装置に接続する
    ホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力
    手段から入力される音声データを前記音声制御ホスト装
    置に送信する音声データ送信手段と、 前記音声制御ホスト装置から返信されるフォーマット文
    章データを受信するフォーマット文章データ受信手段
    と、 該受信されたフォーマット文章データを表示又は編集す
    るフォーマット文章データ表示/編集手段と、 を含むことを特徴とする移動端末。
  3. 【請求項3】 移動端末がホスト装置と通信する通信シ
    ステムに使用される前記ホスト装置であって、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記移動端末が実行する接続動作に応答して、前記移
    動端末を識別して接続する移動端末接続手段と、 現在接続されている移動端末毎に、音声データを受信す
    る音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信
    手段により受信された音声データに対して音声認識処理
    を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段に
    よる音声認識処理によって得られる認識音声データ中の
    フィールドを判別することにより、該認識音声データの
    内容を表わすフォーマット文章データを作成するフォー
    マット文章データ作成手段と、 現在接続されている移動端末毎に、前記フォーマット文
    章データ作成手段によって作成されるフォーマット文章
    データを、それに対応する移動端末に返信するフォーマ
    ット文章データ返信手段と、 を含むことを特徴とする音声制御ホスト装置。
  4. 【請求項4】 前記移動端末は、パーソナルハンディホ
    ンシステム通信機能を備え、 前記中継網は、パーソナルハンディホンシステム通信網
    とインターネットを含み、 前記音声制御ホスト装置は、前記インターネットに接続
    し、 前記移動端末内のホスト接続手段は、前記パーソナルハ
    ンディホンシステム通信網を介して、該パーソナルハン
    ディホンシステム通信網を含む公衆網と前記インターネ
    ットとの間のゲートウエイ機能を有する移動端末制御ホ
    スト装置に発信し接続することによって、前記インター
    ネット上の通信プロトコルを使用して、前記移動端末制
    御ホスト装置から前記インターネットを介して前記音声
    制御ホスト装置に接続する、 ことを特徴とする請求項1乃至3の何れか1項に記載の
    移動端末音声認識/フォーマット文章作成システム、移
    動端末、又は音声制御ホスト装置。
  5. 【請求項5】 前記通信プロトコルは、インターネット
    プロトコル層及びトランスミッションコントロールプロ
    トコル層を含む階層プロトコルであって、 前記インターネット上を伝送される前記インターネット
    プロトコル層のパケットデータであるインターネットプ
    ロトコルデータグラムのヘッダフィールドには、前記イ
    ンターネット上での前記移動端末及び前記音声制御ホス
    ト装置のアドレスを指定する送信元インターネットプロ
    トコルアドレス及び宛先インターネットプロトコルアド
    レスが格納され、該インターネットプロトコルデータグ
    ラムのデータフィールドには、前記トランスミッション
    コントロールプロトコル層のパケットデータであるトラ
    ンスミッションコントロールプロトコルセグメントが格
    納され、 前記トランスミッションコントロールプロトコルセグメ
    ントのヘッダフィールドには、前記音声認識/フォーマ
    ット文章データ作成処理のための通信プロトコルを特定
    する送信元ポート番号及び宛先ポート番号が格納され、
    該トランスミッションコントロールプロトコルセグメン
    トのデータフィールドには、前記移動端末を識別するた
    めの端末識別コード、前記音声データ、又は前記フォー
    マット文章データが格納される、 ことを特徴とする請求項4に記載の移動端末音声認識/
    フォーマット文章作成システム、移動端末、又は音声制
    御ホスト装置。
  6. 【請求項6】 前記音声制御ホスト装置は、網によって
    相互に接続され、前記移動端末接続手段、前記音声デー
    タ受信手段、前記音声認識手段、前記フォーマット文章
    データ作成手段、及び前記フォーマット文章データ返信
    手段に対応する機能を分散して実現する複数のホストコ
    ンピュータから構成される、 ことを特徴とする請求項1乃至5の何れか1項に記載の
    移動端末音声認識/フォーマット文章作成システム、移
    動端末、又は音声制御ホスト装置。
  7. 【請求項7】 前記フォーマット文章データ作成手段
    は、現在接続されている移動端末毎に、前記音声認識手
    段による音声認識処理によって得られる認識音声データ
    に含まれるフィールドを認識すると共に、不要語を削除
    して、前記フォーマット文章データを作成する、 ことを特徴とする請求項1乃至6の何れか1項に記載の
    移動端末音声認識/フォーマット文章作成システム、移
    動端末、又は音声制御ホスト装置。
JP8350324A 1996-12-27 1996-12-27 移動端末音声認識/フォーマット文章作成システム Pending JPH10190865A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8350324A JPH10190865A (ja) 1996-12-27 1996-12-27 移動端末音声認識/フォーマット文章作成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8350324A JPH10190865A (ja) 1996-12-27 1996-12-27 移動端末音声認識/フォーマット文章作成システム

Publications (1)

Publication Number Publication Date
JPH10190865A true JPH10190865A (ja) 1998-07-21

Family

ID=18409716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8350324A Pending JPH10190865A (ja) 1996-12-27 1996-12-27 移動端末音声認識/フォーマット文章作成システム

Country Status (1)

Country Link
JP (1) JPH10190865A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099099A (ja) * 1998-09-22 2000-04-07 Sharp Corp データ再生装置
US6934678B1 (en) 2000-09-25 2005-08-23 Koninklijke Philips Electronics N.V. Device and method for coding speech to be recognized (STBR) at a near end
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
JP2015090506A (ja) * 2013-11-05 2015-05-11 西日本電信電話株式会社 健康管理装置および健康管理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099099A (ja) * 1998-09-22 2000-04-07 Sharp Corp データ再生装置
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
US6934678B1 (en) 2000-09-25 2005-08-23 Koninklijke Philips Electronics N.V. Device and method for coding speech to be recognized (STBR) at a near end
US7219057B2 (en) 2000-09-25 2007-05-15 Koninklijke Philips Electronics Speech recognition method
JP2015090506A (ja) * 2013-11-05 2015-05-11 西日本電信電話株式会社 健康管理装置および健康管理方法

Similar Documents

Publication Publication Date Title
JP3402100B2 (ja) 音声制御ホスト装置
JPH10133847A (ja) 移動端末音声認識/データベース検索/リソースアクセス通信システム
US7003463B1 (en) System and method for providing network coordinated conversational services
US20020143551A1 (en) Unified client-server distributed architectures for spoken dialogue systems
US7382770B2 (en) Multi-modal content and automatic speech recognition in wireless telecommunication systems
US20020138274A1 (en) Server based adaption of acoustic models for client-based speech systems
US20020091527A1 (en) Distributed speech recognition server system for mobile internet/intranet communication
JP2001222294A (ja) 無線通信装置のためのユーザインターフェースに基づく音声認識
JPH0823383A (ja) 通信システム
EP1125279A1 (en) System and method for providing network coordinated conversational services
EP1040673A1 (en) Data transmission over a coded voice channel
JPH11215248A (ja) 通信システムおよびこれに用いられる無線通信端末装置
JPH10177469A (ja) 移動端末音声認識/データベース検索/リソースアクセス通信システム
US20020077811A1 (en) Locally distributed speech recognition system and method of its opration
TW200304638A (en) Network-accessible speaker-dependent voice models of multiple persons
JPH10126852A (ja) 移動端末音声認識/データベース検索通信システム
JPH10177468A (ja) 移動端末音声認識/データベース検索通信システム
KR20010076464A (ko) 음성을 통한 인터넷 서비스 시스템
JPH10134047A (ja) 移動端末音声認識/議事録作成通信システム
JPH10124291A (ja) 移動端末音声認識通信システム
JPH10190865A (ja) 移動端末音声認識/フォーマット文章作成システム
US20020077814A1 (en) Voice recognition system method and apparatus
KR100486030B1 (ko) 음성인식을 이용한 이동통신 단말기의 인터넷 사이트접속장치 및 방법
KR20020080174A (ko) 이동통신 단말기의 음성인식 장치 및 방법
CN111274828A (zh) 基于留言的语言翻译方法、***、计算机程序和手持终端