JPH10124291A - 移動端末音声認識通信システム - Google Patents

移動端末音声認識通信システム

Info

Publication number
JPH10124291A
JPH10124291A JP8274452A JP27445296A JPH10124291A JP H10124291 A JPH10124291 A JP H10124291A JP 8274452 A JP8274452 A JP 8274452A JP 27445296 A JP27445296 A JP 27445296A JP H10124291 A JPH10124291 A JP H10124291A
Authority
JP
Japan
Prior art keywords
mobile terminal
voice
host device
data
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8274452A
Other languages
English (en)
Inventor
Toru Yamakita
徹 山北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP8274452A priority Critical patent/JPH10124291A/ja
Publication of JPH10124291A publication Critical patent/JPH10124291A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 移動端末を用いた通信環境において、そのユ
ーザインタフェースとしての音声認識機能を実用的な精
度及びコストで実現することにある。 【解決手段】 移動端末101において、通話時に又は
オフライン状態で入力部109から入力された音声信号
が、制御部110及び通信部111からPHS網103
に送出され、そこから移動端末制御ホスト装置104及
びインターネット105を介して、音声制御ホスト装置
108に送られる。この音声信号は、同装置内のパケッ
ト送受信部115を介して移動端末通信制御部116で
受信され、文音声認識部117で認識される。その結果
得られる認識音声文章データは、リアルタイムに又は所
望のタイミングで一括して移動端末101に返送され、
通信部111を介して制御部110で受信され、出力部
112で表示される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、移動(携帯)端末
装置において入力された通話音声等の音声を認識する技
術に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】音声信
号を認識して、文字データに変換して蓄積したり、認識
結果を種々のサービスの利用に供したりするための音声
認識技術は、様々な産業分野で従来から要請されてい
る。
【0003】近年では、音声認識アルゴリズムの発達に
より、メインフレームコンピュータ又はワークステーシ
ョンコンピュータ等を用いた音声認識システムが開発さ
れている。
【0004】これらのシステムは、例えば、電話音声を
入力とする銀行の残高照会システムや座席予約システ
ム、作業員の音声を認識して荷物の自動配送を行う配送
荷物の仕分システムを始めとして、種々の産業分野に取
り入られつつある。
【0005】しかし、このような音声認識システムは、
上述のような大規模なコンピュータシステムの環境のも
とでようやく実用的な認識精度を有するレベルに到達し
たばかりであり、いわゆるパーソナルコンピュータのよ
うな小型のコンピュータシステム環境のもとでは、実用
的な認識精度を有する安価な音声認識システムは未だ実
現されていないのが現状である。
【0006】一方、上述のような情報処理技術と並行し
て、近年、自動車電話・携帯電話やPHS(パーソナル
ハンディホンシステム)等の移動端末が、急速に普及し
つつある。
【0007】特に、PHSは、小型であると同時に、自
動車電話・携帯電話に比較して通話料金が安く、かつ、
「いつでも、どこでも、誰とでも」高い品質で通話がで
きるという特徴を備えており、爆発的に普及しつつあ
る。更に、PHSは、ISDN(Integrated Services
Digital Network:サービス統合デジタル網)をバックボ
ーンとする公衆網であるため、32キロビット/秒の伝
送レートでの高速デジタル通信が可能であり、マルチメ
ディア通信分野への応用に対する期待も高まっている。
【0008】更には、移動端末の利便性をいかすべく、
携帯電話装置としてだけではなく、携帯情報管理装置と
しても利用できるような、マルチメディア情報管理/通
信端末装置としての実現の可能性も期待されている。具
体的には、このような移動端末は、通話機能/FAX機
能を備えることはもちろん、インターネットや社内ネッ
トワークへのアクセス機能としてのホームページアクセ
ス機能や電子メール通信機能を備えることが予想される
ほか、アドレス管理、スケジュール管理、データベース
検索等の情報管理機能をも兼ね備えることが期待され
る。
【0009】そして、このような移動端末は、人が気軽
に利用できるよう、できる限り人にやさしく自然なユー
ザインタフェースを備えることが要請される。現在実現
されているユーザインタフェースとしては、キーボード
やマウスによる指操作入力、電子ペンによる手書き入力
等が実用化されているが、音声入力等にも対応すること
ができれば、ユーザインタフェースとして理想的であ
る。即ち例えば、基本機能としての通話機能を利用しな
がら通話内容を示す音声信号をデータとして処理するこ
と等が可能になれば、移動端末の利便性を飛躍的に増大
させることが可能になる。ここに、移動端末に対してユ
ーザインタフェースとして音声認識機能を適用すること
の価値を見出すことができる。
【0010】しかし、移動端末は小型でありその情報処
理能力は限られている反面、前述したように、現在の音
声認識処理では、メインフレームコンピュータ又はワー
クステーションコンピュータクラスの環境のもとでない
と、実用的な認識精度を実現することは困難である。従
って、現状では、移動端末のユーザインタフェースとし
て音声認識機能を実現することは非常に困難である、と
いう問題点を有している。
【0011】本発明の課題は、移動端末を用いた通信環
境において、そのユーザインタフェースとしての音声認
識機能を実用的な精度及びコストで実現することにあ
る。
【0012】
【課題を解決するための手段】本発明はまず、以下の構
成を含む移動端末を有する。即ち、ホスト接続手段(制
御部110、通信部111)は、無線網又は有線網の何
れか一方又は両方から構成される中継網(PHS網10
3とインターネット105)を介して間接的に又はその
中継網を介さずに直接的にホスト装置である音声制御ホ
スト装置(音声制御ホスト装置108)に接続する。こ
の手段は、例えば、音声制御ホスト装置に対して、認識
音声データをリアルタイム又は非リアルタイムに返信さ
せるためのリアルタイム返信要求コマンド又は非リアル
タイム返信要求コマンドを選択的に送信する機能と、認
識音声データを一括して転送させるための一括転送要求
コマンドを送信する機能とを含む。
【0013】音声入力手段(入力部109)は、音声を
入力する。音声データ送信手段(制御部110、通信部
111)は、ホスト接続手段による接続動作の後、音声
入力手段から入力される音声データを音声制御ホスト装
置に送信する。
【0014】認識音声データ受信手段(制御部110、
通信部111)は、音声制御ホスト装置から返信される
認識音声データを受信する。認識音声データ表示/編集
手段(制御部110、出力部112)は、その受信され
た認識音声データを表示又は編集する。
【0015】次に、本発明は、以下の構成を含む音声制
御ホスト装置108を有する。即ち、移動端末接続手段
(パケット送受信部115、移動端末通信制御部11
6)は、移動端末内のホスト接続手段による接続動作に
応答して、移動端末を識別して接続する。
【0016】音声データ受信手段(パケット送受信部1
15、移動端末通信制御部116)は、現在接続されて
いる移動端末毎に、音声データを受信する。音声認識手
段(移動端末通信制御部116、文音声認識部117)
は、現在接続されている移動端末毎に、音声データ受信
手段により受信された音声データに対して音声認識処理
を実行する。
【0017】認識音声データ返信手段(移動端末通信制
御部116、パケット送受信部115)は、現在接続さ
れている移動端末毎に、音声認識手段による音声認識処
理によって得られる認識音声データを、それに対応する
移動端末に返信する。この手段は、例えば、現在接続さ
れている移動端末毎に、移動端末接続手段が移動端末か
らリアルタイム返信要求コマンドを受信している場合に
は、それに対応して音声認識手段による音声認識処理に
よって得られる認識音声データをそれに対応する移動端
末に即座に返信し、移動端末接続手段が移動端末から非
リアルタイム返信要求コマンドを受信している場合に
は、それに対応して音声認識手段による音声認識処理に
よって得られる認識音声データを保持した後、移動端末
接続手段が移動端末から一括転送要求コマンドを受信し
た時点で、それに対応して保持していた認識音声データ
をそれに対応する移動端末に一括して返信する。
【0018】以上の移動端末と音声制御ホスト装置を含
む本発明による通信移動端末音声認識通信システムによ
り、移動端末は、高度な音声認識環境を設備する必要が
なく実用的な精度を有する音声認識機能の提供を低コス
トで受けることができる。
【0019】上述の発明の構成は、下記の限定を含むこ
とができる。即ち、まず、移動端末は、パーソナルハン
ディホンシステム通信機能(通信部111)を備える。
【0020】次に、中継網は、パーソナルハンディホン
システム通信網(PHS網103)とインターネット
(インターネット105)を含む。また、音声制御ホス
ト装置は、インターネットに接続する。
【0021】そして、移動端末内のホスト接続手段は、
パーソナルハンディホンシステム通信網を介して、その
パーソナルハンディホンシステム通信網を含む公衆網と
インターネットとの間のゲートウエイ機能を有する移動
端末制御ホスト装置(移動端末制御ホスト装置104)
に発信し接続することによって、インターネット上の通
信プロトコルを使用して、移動端末制御ホスト装置から
インターネットを介して音声制御ホスト装置に接続す
る。
【0022】この限定構成によって、現在全国的及び全
世界的に普及しつつあるパーソナルハンディホンシステ
ム通信網及びインターネットを経由することにより、実
用的な精度を有する音声認識機能の提供をより低コスト
及び手軽に受けることができると同時に、本発明が提供
する機能とパーソナルハンディホンシステム通話機能及
びインターネットアクセス機能とを、シームレスに結合
することができる。
【0023】更に、上述の通信プロトコルは、下記の限
定を含むことができる。即ち、上記通信プロトコルは、
インターネットプロトコル(IP)層及びトランスミッ
ションコントロールプロトコル(TCP)層を含む階層
プロトコルである。
【0024】次に、インターネット上を伝送されるイン
ターネットプロトコル層のパケットデータであるインタ
ーネットプロトコルデータグラム(IPデータグラム)
のヘッダ(IPヘッダ)フィールドには、インターネッ
ト上での移動端末及び音声制御ホスト装置のアドレスを
指定する送信元インターネットプロトコルアドレス及び
宛先インターネットプロトコルアドレスが格納され、そ
のインターネットプロトコルデータグラムのデータフィ
ールドには、トランスミッションコントロールプロトコ
ル層のパケットデータであるトランスミッションコント
ロールプロトコルセグメントが格納される。
【0025】また、トランスミッションコントロールプ
ロトコルセグメント(TCPセグメント)のヘッダ(T
CPヘッダ)フィールドには、音声認識処理のための通
信プロトコルを特定する送信元ポート番号及び宛先ポー
ト番号が格納され、そのトランスミッションコントロー
ルプロトコルセグメントのデータフィールドには、移動
端末を識別するための端末識別コード、リアルタイム返
信要求コマンド、非リアルタイム返信要求コマンド、一
括転送要求コマンド、音声データ、又は認識音声データ
が格納される。
【0026】この限定構成によって、移動端末と音声制
御ホスト装置とを全世界的に容易に特定できると共に、
音声認識処理サービスと他の情報処理サービスとの共存
を容易に実現できる。
【0027】ここまでの発明の構成において、音声制御
ホスト装置は、網によって相互に接続され、移動端末接
続手段、音声データ受信手段、音声認識手段、及び認識
音声データ返信手段に対応する機能を分散して実現する
複数のホストコンピュータから構成されるように実現す
ることができる。
【0028】この限定構成によって、ホスト装置側の負
荷分散を容易に実現できる。なお、上述した移動端末及
び音声制御ホスト装置の単体も、本発明の権利範囲であ
る。
【0029】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について詳細に説明する。本実施の形態で
は、PHS機能が組み込まれた移動端末において、通話
時に又はオフライン状態でマイクから入力された音声信
号が、PHS網からインターネットを介して特定の音声
サービスプロバイダ内のLANに接続される音声制御ホ
スト装置に送られ、そこで上記音声信号が認識された
後、リアルタイムに又は所望のタイミングで一括して移
動端末に返送され、移動端末での情報管理処理に利用さ
れることが、本発明に関連する大きな特徴である。この
ようなシステムにより、移動端末は、高度な音声認識環
境を設備する必要がなく実用的な精度を有する音声認識
機能の提供を低コストで受けることができる。 <システム構成>図1は、本発明の実施の形態の全体シ
ステム構成図である。
【0030】移動端末101は、PHS端末機能を有し
ており、無線基地102を介して、無線通信によってP
HS網103に接続される。無線基地102は、街路の
公衆電話ボックス、電柱、ビル屋上、地下通路等に設け
られる公衆無線基地、又は加入者宅内の親子電話装置等
である。なお、親子電話装置に接続される場合は、PH
S網を介さずに、直接公衆電話網に接続される。なお、
無線基地102の代わりに、有線接続装置を介して、有
線通信によってPHS網103又は公衆電話網に接続さ
れるように構成されてもよい。
【0031】PHS網103は、公衆電話網又はISD
N網と相互接続しており、これらの網には、高速デジタ
ル専用線等によってインターネット105に接続してい
る移動端末制御ホスト装置104が接続されている。
【0032】移動端末101は、無線基地102及びP
HS網103を介して、上記公衆電話網又はISDN網
に接続されている移動端末制御ホスト装置104に自動
的にダイヤルアップ発信することによって、インターネ
ット105に接続することができる。
【0033】インターネット105には、高速デジタル
専用線等を介して所定の音声サービスプロバイダのLA
N107に接続しているルータ装置106が接続されて
いる。LAN107は、イーサネット方式、ATM(As
ynchronous Transfer Mode)方式、又はFDDI方式に
よるローカルエリアネットワークである。LAN107
には、更に音声制御ホスト装置108が接続されてい
る。
【0034】移動端末101は、移動端末制御ホスト装
置104に自動的にダイヤルアップ発信した後に、イン
ターネット105、ルータ装置106、及びLAN10
7を介して、音声制御ホスト装置108と通信すること
ができる。
【0035】今、移動端末101内の入力部109にお
いて、ユーザが、タッチパネルから音声制御ホスト装置
108との通信を指示すると、制御部110は、通信部
111に対して、音声制御ホスト装置108との通信開
始を依頼する。
【0036】通信部111は、制御部110から通信開
始を依頼されると、現在移動端末制御ホスト装置104
に接続していなければ、無線基地(又は有線接続装置)
102に無線(又は有線)発信してPHS網103に接
続した後、移動端末制御ホスト装置104のアクセス電
話番号を指定してダイヤルアップ発信する。
【0037】移動端末制御ホスト装置104が着信する
と、移動端末101内の通信部111は、まず、移動端
末制御ホスト装置104内の接続確立部113と通信す
ることにより、インターネット105上の標準通信プロ
トコルであるTCP/IP及びPPP方式による接続の
確立のためのネゴシエーションを行う。この結果、移動
端末制御ホスト装置104から、移動端末101内の通
信部111に対して、インターネット105上の識別ア
ドレスであるIPアドレスが付与され、移動端末101
は、インターネット105へのアクセスが可能となる。
【0038】移動端末101内の通信部111は、既に
移動端末制御ホスト装置104に接続していれば、上記
タイヤルアップ発信は省略する。その後、移動端末10
1内の通信部111は、予め設定されている音声制御ホ
スト装置108のIPアドレスである“宛先IPアドレ
ス”と、移動端末制御ホスト装置104から付与された
IPアドレスである“送信元IPアドレス”と、移動端
末101を識別するための“端末識別コード”(例えば
PHS電話番号)と、ユーザの指定に基づく文音声認識
処理のリアルタイム開始要求コマンド又は文音声認識処
理の非リアルタイム開始要求コマンドとが格納されたT
CP/IPパケットを、インターネット105に向けて
送出する。
【0039】このTCP/IPパケットは、それに格納
されている“宛先IPアドレス”に基づき、移動端末制
御ホスト装置104内のルーティング部114とインタ
ーネット105内の特には図示しない中継ホスト装置に
よって、音声サービスプロバイダ内のルータ装置106
まで転送された後、更に、LAN107を介して音声制
御ホスト装置108内のパケット送受信部115まで転
送される。
【0040】パケット送受信部115は、受信したTC
P/IPパケットから、“送信元IPアドレス”と、
“端末識別コード”と、文音声認識処理のリアルタイム
開始要求コマンド又は文音声認識処理の非リアルタイム
開始要求コマンドとを取り出して、音声制御ホスト装置
108内の移動端末通信制御部116に引き渡す。
【0041】移動端末通信制御部116は、引き渡され
た“送信元IPアドレス”と、“端末識別コード”と、
文音声認識処理のリアルタイム開始要求コマンド又は文
音声認識処理の非リアルタイム開始要求コマンドに関す
る情報を後述する処理端末登録テーブル(図13)に登
録した後、パケット送受信部115に対して、送信許可
データが格納されたTCP/IPパケットの移動端末1
01への返信を依頼する。
【0042】パケット送受信部115は、対応するTC
P/IPパケットを、移動端末101に対応するIPア
ドレスに向けて送信する。このようにして、音声制御ホ
スト装置108は、移動端末101から転送されてくる
音声データに対して文音声認識処理を実行することが可
能となる。
【0043】移動端末101内の通信部111は、音声
制御ホスト装置108から上記送信許可データが格納さ
れたTCP/IPパケットを受信すると、それに格納さ
れている送信許可データを制御部110に引き渡す。
【0044】移動端末101内の制御部110は、上記
送信許可データを引き渡された後、通信部111に対し
て、通話動作又はオフライン状態での音声入力動作によ
ってマイクから入力された音声データの音声制御ホスト
装置108への送信を依頼する。
【0045】通信部111は、上記音声データが格納さ
れたTCP/IPパケットを、音声制御ホスト装置10
8に対応するIPアドレスに向けて送信する。このTC
P/IPパケットは、それに格納されている“宛先IP
アドレス”に基づき、移動端末制御ホスト装置104内
のルーティング部114、インターネット105内の特
には図示しない中継ホスト装置、音声サービスプロバイ
ダ内のルータ装置106、及びLAN107を介して、
音声制御ホスト装置108内のパケット送受信部115
まで転送される。
【0046】パケット送受信部115は、受信したTC
P/IPパケットに格納されている音声データを取り出
し、それを音声制御ホスト装置108内の移動端末通信
制御部116に引き渡す。
【0047】移動端末通信制御部116は、引き渡され
た音声データを文音声認識部117に引き渡す。文音声
認識部117は、引き渡された音声データに対して文音
声認識処理を実行し、認識結果である認識音声文章デー
タを移動端末通信制御部116に引き渡す。
【0048】移動端末通信制御部116は、移動端末1
01から文音声認識処理のリアルタイム開始要求コマン
ドが指定されている場合には、即座に、パケット送受信
部115に対して、認識音声文章データが格納されたT
CP/IPパケットの移動端末101への返信を依頼す
る。
【0049】パケット送受信部115は、対応するTC
P/IPパケットを、移動端末101に対応するIPア
ドレスに向けて送信する。移動端末101内の通信部1
11は、音声制御ホスト装置108から上記認識音声文
章データが格納されたTCP/IPパケットを受信する
と、それに格納されている認識音声文章データを制御部
110に引き渡す。
【0050】移動端末101内の制御部110は、上記
認識音声文章データを、出力部112に出力する。出力
部112は、認識音声文章データに対応する文章を、L
CD表示部に表示する。ユーザは、この文章データを、
任意に蓄積又は加工することができる。
【0051】移動端末通信制御部116は、移動端末1
01から文音声認識処理の非リアルタイム開始要求コマ
ンドが指定されている場合には、認識音声文章データを
即座に移動端末101に返信することはせずに、それを
順次蓄積する。そして、移動端末通信制御部116は、
後に、移動端末101から文音声認識結果の一括転送要
求コマンドを受信したタイミングで、パケット送受信部
115に対して、蓄積しておいた認識音声文章データが
格納されたTCP/IPパケットの移動端末101への
一括返信を依頼する。
【0052】パケット送受信部115は、対応するTC
P/IPパケットを、移動端末101に対応するIPア
ドレスに向けて送信する。これにより、移動端末101
では、一括転送された認識音声文章データを、LCD表
示部に表示させ、ユーザは、この文章データを、任意に
蓄積又は加工することができる。
【0053】一方、移動端末101は、音声制御ホスト
装置108との通信のほかに、それが装備するホームペ
ージ閲覧ツールや電子メールを利用して、移動端末制御
ホスト装置104にダイヤルアップ発信することによ
り、インターネット105上の所望のリソースに自由に
アクセスすることが可能である。<移動端末101の外
観構成>図2は、図1の移動端末101の外観図であ
る。
【0054】移動端末101は、コンパクトな携帯情報
管理装置の外観を有し、音声を入力するための送話器を
兼ねたマイク201と、本発明には特には関連しないが
画像を入力するためのカメラ202と、各種情報を表示
し、またタッチ入力又はペン入力を受け付けるタッチパ
ネル機能を有するLCD表示部203と、音声を出力す
るための受話器を兼ねたスピーカ204を有する、ま
た、図1の無線基地102に発信するための無線アンテ
ナ205と、無線基地102の代わりの有線接続装置に
接続するためのソケット206を有する。
【0055】更に、各種ICカードを挿入するためのI
Cカードスロット207と、他の移動端末101又はパ
ーソナルコンピュータ等との間で赤外線光通信を行うた
めの光送受信機208を有する。
【0056】スイッチ209は、電源スイッチである。 <移動端末101の機能ブロック構成>図3は、移動端
末101の機能ブロック図である。
【0057】移動端末101は、図1にも示したよう
に、入力部109、制御部110、通信部111、及び
出力部112から構成され、それぞれバス326によっ
て相互に接続されている。
【0058】まず、入力部109は、音声を入力する部
分と、本発明には特には関連しないが画像を入力する部
分と、出力部112の動作において後述するタッチパネ
ル機構の部分とから構成される。
【0059】音声を入力する部分は、マイク301、A
/D変換部302、及びマイク制御部303から構成さ
れる。マイク301(図2の201に対応)は、PHS
電話の送話器を兼ねており、ユーザが発声した音声を入
力する。
【0060】A/D変換部302は、マイク301から
入力されたアナログ音声信号をデジタル音声データに変
換し、更にそのデジタル音声データを、PHSの標準音
声符号化方式であるADPCM(Adaptive Differentia
l Pulse Code Modulation:適応差分線形パルス符号化)
方式によって符号化する。なお、この部分は、PHS端
末を構成するLSI集積回路として、既に実用化されて
いる。
【0061】マイク制御部303は、上述の符号化され
た音声データを、通話時には、通信部111内の通信制
御部321に転送して通話チャネルに載せると共に、文
音声認識処理時には、更に制御部110内のRAM31
7に転送する。
【0062】一方、画像を入力する部分は、CCD(Ch
arge Coupled Device )カメラ304、A/D変換部3
05、メモリ306、及びカメラ制御部307から構成
される。
【0063】CCDカメラ304は、ユーザの操作に基
づいて任意の画像を撮像する。A/D変換部305は、
CCDカメラ304によって撮像されたアナログ映像信
号を、デジタル画像データに変換する。
【0064】メモリ306は、デジタル画像データをフ
レーム単位で記憶する。カメラ制御部307は、CCD
カメラ304、A/D変換部305、及びメモリ306
の動作を制御する。
【0065】次に、出力部112は、音声を出力する部
分と、画像を出力する部分とから構成される。音声を出
力する部分は、スピーカ308、D/A変換部309、
及びスピーカ制御部310から構成される。
【0066】スピーカ制御部310は、通信部111内
の通信制御部321から受信されたPHS通話音声デー
タ、又は制御部110内のRAM317から受信された
合成音声データを、D/A変換部309に転送する。
【0067】D/A変換部309は、受信された音声デ
ータを復号し、アナログ音声信号に変換し、それをスピ
ーカ308(図2の204に対応)から音声として放音
させる。
【0068】画像を出力する部分は、LCD表示部20
3、LCDドライバ312、メモリ313、及びLCD
制御部314から構成される。LCD制御部314は、
制御部110内のRAM317から受信された文字デー
タ、イメージデータ、コマンドボタンデータ等の各種画
像データをメモリ313にフレーム単位で保持させ、L
CDドライバ312に起動をかける。
【0069】LCDドライバ312は、メモリ313か
らフレーム単位で読み出される画像データを、LCD表
示部311(図2の203に対応)に表示する。なお、
LCD表示部311(図2の203)の表面には、透明
タッチパネルが配設されており、ユーザは、LCD表示
部311に表示されるコマンドボタンデータ等に従っ
て、タッチパネルに指タッチ又はペンタッチすることに
より、コマンド入力を行うことができる。この入力信号
は、タッチパネル制御部315によって制御部110内
のRAM317に転送される。
【0070】続いて、制御部110は、CPU316、
RAM317、及びROM318と、ICカードインタ
フェース部319、及び必要に応じてICカードスロッ
ト207(図2)に挿入されるICカード320とから
構成される。
【0071】CPU316は、ROM318に記憶され
た制御プログラムに従って、RAM317をワークエリ
アとして使用しながら、移動端末101全体の動作を制
御する。
【0072】ICカードインタフェース部319は、I
Cカード320に対するデータの入出力を制御する。最
後に、通信部111は、通信制御部321、無線ドライ
バ322、無線アンテナ323、有線ドライバ324、
及びソケット325から構成される。
【0073】通信制御部321は、PHS通話処理及び
インターネット105との間のTCP/IP通信処理
(後述する)を実行し、無線ドライバ322又は有線ド
ライバ324を制御する。
【0074】無線ドライバ322は、無線通信時に、通
信データを、無線アンテナ323(図2の205に対
応)を介して送受信されるPHS無線信号との間で相互
変換する。PHS無線信号は、1.9GHzの無線周波
数と、300kHzのキャリア周波数間隔と、4チャネ
ル/キャリアのTDMA−TDD無線アクセス方式と、
π/4シフトQPSK変調方式と、384kbits/
secの無線伝送速度に基づく無線信号である。
【0075】一方、有線ドライバ324は、有線通信時
に、通信データを、ソケット325(図2の206に対
応)を介して送受信される有線信号との間で相互変換す
る。これは、一般的な電話帯域モデム変調信号である。
以上の構成を有する本発明の実施の形態の動作につい
て、以下に詳細に説明する。 <移動端末101の処理>まず、移動端末101の処理
について説明する。
【0076】図4は、図3の制御部110内のCPU3
16が、電源投入後に、制御部110内のROM318
に記憶されている制御プログラムを実行する動作として
実現される制御動作を示す全体動作フローチャートであ
る。
【0077】なお、図4、図5、及び図8の動作フロー
チャートで示される各機能を実現する制御プログラム及
びそれに必要なデータは、例えば、図2に示されるIC
カードスロット207に着脱自在なICカード320
に、CPU316が読み取り可能なプログラムコードの
形態で記憶され、そのプログラムコードがCPU316
によって直接実行され、又は、そのプログラムコードが
必要に応じてRAM317又は書込み可能なROM31
8にロードされてCPU316によって実行されるよう
に構成されてもよい。或いは、上述の制御プログラム及
びそれに必要なデータは、無線又は有線の通信回線又は
光送受信機208(図2)から通信部111を介して他
の機器から受信されて、RAM317又は書込み可能な
ROM318にロードされてCPU316によって実行
されるように構成されてもよい。
【0078】まず、ステップ401→402→403→
404→401の繰返しループにおいては、図3のタッ
チパネル制御部315からタッチパネル入力の検出が通
知されたか否かの判定処理(401)、音声制御ホスト
装置108(図1)から認識音声文章データが受信され
たか否かの判定処理(402)、その他の受信/表示処
理(403)、及び必要なデータの送信処理(404)
が実行される。
【0079】タッチパネル制御部315からタッチパネ
ル入力の検出が通知されステップ401の判定がYES
となると、ステップ405又は406で、上記タッチパ
ネル入力が図3のCCDカメラ304(図2の202)
の入力指示又は図3のマイク301(図2の201)の
入力指示であるか否かが、判定される。
【0080】タッチパネル入力が図3のCCDカメラ3
04(図2の202)の入力指示であってステップ40
5の判定がYESとなると、ステップ407で、図3の
入力部109内のカメラ制御部307に対して、例えば
手書き文字画像等の入力処理の開始が指示される。その
後、ステップ404の送信処理に進む。画像入力処理
は、本発明には特には関連しないため、その詳細な説明
は省略する。
【0081】タッチパネル入力が図3のマイク301
(図2の201)の入力指示であってステップ406の
判定がYESとなると、ステップ408で、図3の入力
部109内のマイク制御部303に対して、音声入力処
理の開始が指示される。この音声入力処理の開始指示
は、例えばPHS通話処理の開始指示、又は文音声認識
処理を実行するためのオフライン状態での音声入力処理
の開始指示である。
【0082】マイク制御部303は、上述のCPU31
6からの指示によって、マイク301(図2の201)
及びA/D変換部302に対して、音声入力の開始を指
示する。この結果、A/D変換部302からは、マイク
301(図2の201)から入力された音声データが出
力される。
【0083】その後、上述の音声入力処理の開始指示が
PHS通話の開始指示である場合には、上述の音声デー
タは、通信制御部321の特には図示しない送信処理に
よって、所定の通話チャネルに載せられて通話相手に送
信される。
【0084】また、上述の音声入力処理の開始指示が文
音声認識処理のための音声入力処理の開始指示を含む場
合には、それ以後マイク301(図2の201)から入
力されマイク制御部303から出力された音声データ
は、後述するステップ404の送信処理において、そこ
で音声制御ホスト装置108に向けて送信される。
【0085】タッチパネル入力が図3のCCDカメラ3
04(図2の202)の入力指示でも図3のマイク30
1(図2の201)の入力指示でもない場合には、ステ
ップ405及び406の判定がNOとなって、ステップ
409で、他のキー入力処理が実行される。その後、ス
テップ404の送信処理に進む。
【0086】一方、音声制御ホスト装置108(図1)
から通信部111を介して制御部110内のRAM31
7に認識音声文章データが受信され、ステップ401→
402→403→404→401の繰返しループにおけ
るステップ402の判定がYESとなると、ステップ4
10において、上記認識音声文章データがRAM317
から出力部112内のメモリ313に転送され、LCD
制御部314に対して上記認識音声文章データの表示が
指示される。
【0087】この結果、LCD制御部314の制御によ
って、メモリ313からLCDドライバ312を介して
LCD表示部311(図2の203)に、受信された認
識音声文章データが表示される。
【0088】次に、ステップ404の送信処理について
説明する。図5は、上記送信処理の詳細を示す動作フロ
ーチャートである。まず、ステップ501では、図4の
ステップ409の他キー入力処理によって処理されたタ
ッチパネルからのキー入力が送信指示を伴っているか否
かが判定される。
【0089】この判定がNOの場合には、ステップ50
5の処理へ進む。ステップ501の判定がYESの場合
には、ステップ502で、移動端末101が現在図1の
移動端末制御ホスト装置104に接続中であるか否かが
判定される。
【0090】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ502の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ504で、移動端末101の“端末識別コ
ード”とキー入力処理に対応するコマンドの送信指示
を、図3の通信部111内の通信制御部321に対し依
頼する。この結果、通信制御部321は、上記“端末識
別コード”とコマンドが格納されたTCP/IPパケッ
トを生成し、それをインターネット105に接続されて
いる所定のホスト(例えば図1の音声制御ホスト装置1
08)に向け送信する。
【0091】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ502の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ503で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
504を実行する。
【0092】後に詳述するように、ユーザの指定に基づ
く文音声認識処理のリアルタイム開始要求コマンド又は
文音声認識処理の非リアルタイム開始要求コマンドの送
信指示、文音声認識処理の終了要求コマンドの送信指
示、及び文音声認識処理の一括転送要求コマンドの送信
指示は、上述のステップ504において発行される。
【0093】前述したようにステップ501の判定がN
Oの場合又はステップ504の処理の後、ステップ50
5では、図4のステップ408によって、文音声認識処
理のための音声入力処理の開始指示が実行されており、
音声データの音声制御ホスト装置108(図1)への送
信指示がなされているか否かが判定される。
【0094】この判定がNOの場合には、ステップ51
0の処理へ進む。ステップ505の判定がYESの場合
には、ステップ506で、音声制御ホスト装置108か
ら文音声認識処理のリアルタイム開始要求コマンド又は
文音声認識処理の非リアルタイム開始要求コマンドに対
する応答である送信許可データが既に返信されているか
否かが判定される。
【0095】この判定がNOの場合には、音声制御ホス
ト装置108がまだ移動端末101からの文音声認識処
理のリアルタイム開始要求コマンド又は文音声認識処理
の非リアルタイム開始要求コマンドに対する準備が完了
していないため、ステップ510の処理へ進む。
【0096】音声制御ホスト装置108から文音声認識
処理のリアルタイム開始要求コマンド又は文音声認識処
理の非リアルタイム開始要求コマンドに対する応答であ
る送信許可データが既に返信されておりステップ506
の判定がYESの場合には、更に、ステップ507で、
移動端末101が現在図1の移動端末制御ホスト装置1
04に接続中であるか否かが判定される。
【0097】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ507の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ509で、図3に示される入力部109内
のマイク制御部303から制御部110内のRAM31
7に転送されてきている音声データの送信指示を、通信
部111内の通信制御部321に対し依頼する。この結
果、通信制御部321は、上記音声データが格納された
TCP/IPパケットを生成し、それをインターネット
105に接続されている図1の音声制御ホスト装置10
8に向けて送信する。
【0098】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ507の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ508で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
509を実行する。
【0099】後に詳述するように、文音声認識処理のた
めの音声データの送信指示は、上述のステップ509に
おいて発行される。前述したようにステップ505又は
506の判定がNOの場合又はステップ509の処理の
後、ステップ510では、図4のステップ407によっ
て、画像入力処理の開始指示が実行されており、画像デ
ータを図1のインターネット105に接続されている特
には図示しない画像制御ホスト装置への送信指示がなさ
れているか否かが判定される。
【0100】この判定がNOの場合には、図4のステッ
プ404の送信処理を終了する。ステップ510の判定
がYESの場合には、ステップ511で、移動端末10
1が現在図1の移動端末制御ホスト装置104に接続中
であるか否かが判定される。
【0101】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ511の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ513で、図3に示される入力部109内
のメモリ306に得られている画像データの送信指示
を、通信部111内の通信制御部321に対して依頼す
る。この結果、通信制御部321は、上記画像データが
格納されたTCP/IPパケットを生成し、それをイン
ターネット105に接続されている特には図示しない画
像制御ホスト装置108に向けて送信する。
【0102】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ511の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ512で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
513を実行する。
【0103】なお、ステップ513の画像データの送信
指示は、本発明には特には関連しないため、その詳細な
説明は省略する。前述したようにステップ510の判定
がNOの場合又はステップ513の処理の後、図4のス
テップ404の送信処理を終了する。 <通信データのフォーマット>図6は、移動端末101
と移動端末制御ホスト装置104及びインターネット1
05(音声制御ホスト装置108)との間で通信される
通信データのフォーマット図である。
【0104】移動端末101と移動端末制御ホスト装置
104との間では、通信データは、PPP(Point-to-P
oint Protocol )と呼ばれる通信プロトコルに基づき、
図6(a) に示されるPPPフレーム(図の左から右に向
けて転送される)を用いて、PHS規格の32kbit
s/secの伝送レートを有するデジタル通信チャネル
上を伝送される。
【0105】PPPフレームを構成する、“フラグ”、
“アドレス”、“コントロール”の各フィールドは、図
6(a) に示される各固定ビット列が設定される。2オク
テットのデータ長を有するFCSは、フレームチェック
シーケンスと呼ばれ、PPPフレームデータの誤り検出
/訂正用のデータである。移動端末101と移動端末制
御ホスト装置104との間でPPPリンクが確立した後
に転送されるPPPフレームの“インフォメーション”
フィールド(可変データ長を有する)には、インターネ
ット105(図1)上のデータの基本伝送単位であるI
Pデータグラムが格納され、その場合に、2オクテット
のデータ長を有する“プロトコル”フィールドには、”
インフォメーション”フィールドにIPデータグラムが
格納されていることを示す16進値“0021”が格納され
る。
【0106】PPPフレームの“インフォメーション”
フィールドには、上述のようにIPデータグラムが格納
される。このIPデータグラムは、上述のようにインタ
ーネット105上のデータの基本伝送単位である。IP
データグラムは、インターネットプロトコル(IP)に
従って規定され、その“データ”フィールドに格納され
たデータをインターネット105上の宛先のホスト装置
まで一意に転送するための機能を提供し、インターネッ
ト105上でのアドレスを特定する機能、そのIPデー
タグラム自身を“宛先IPアドレス”で指定されたホス
トまでインターネット105上の一定の経路で転送する
機能、そのIPデータグラム自身のフラグメント化(分
割)と再組立てを行う機能等を備える。
【0107】IPデータグラムは、図6(b) に示される
ように、IPヘッダフィールドとデータフィールドとか
ら構成される。IPヘッダフィールドには、それが含ま
れるIPデータグラム自身を配送するために必要な全て
の情報が含まれる。図7(a)は、IPヘッダのフォーマ
ット図である。
【0108】IPヘッダは、32ビットを1ワードとし
て、5乃至6ワードのデータ長を有し、このデータ長は
第1ワードの“ヘッダ長”フィールドに格納され、ま
た、IPデータグラム全体のデータ長は、第1ワードの
“IPデータグラムの全長”フィールドに格納される。
【0109】第1ワードの“バージョン”フィールドに
は、IPデータグラムの転送方法を規定するインターネ
ットプロトコル(IP)のバージョンが設定され、現在
のバージョンは4である。
【0110】第1ワードの“サービスの種類”フィール
ドには、配送の優先度を表わす情報等が格納されるが、
ここは本発明には特には関連しない。第2ワードの各フ
ィールドは、IPデータグラムがインターネット105
上での転送の制約によりフラグメント化(分割)される
場合における制御情報を規定する。まず、“識別番号”
フィールドには、分割されたフラグメントであるこのI
Pデータグラムが属する分割前のIPデータグラムを識
別するための一意な整数が設定される。次に、”フラグ
メントのオフセット”フィールドには、分割されたフラ
グメントであるこのIPデータグラムが分割前のIPデ
ータグラムのどの部分に相当するかを示すオフセット情
報が設定される。そして、”フラグ列”フィールドに
は、分割されたフラグメントであるこのIPデータグラ
ムに、それが属する分割前のIPデータグラムを構成す
る他のフラグメントが後続するか否かが設定される。以
上の情報により、インターネット105上の中継ホスト
においてIPデータグラムがフラグメント化されても、
受信側で分割前のIPデータグラムを正確に復元するこ
とができる。
【0111】第3ワードの“生存期間”(TTL:Time
To Live)フィールドには、そのIPデータグラムがイ
ンターネット105上にどれだけの時間の間存在するこ
とを許すかを示す秒単位の時間情報が設定される。イン
ターネット105上の中継ホストは、IPデータグラム
を処理する毎に上記フィールド値を減算し、値が0以下
になったIPデータグラムはインターネット105上か
ら廃棄する。これにより、インターネット105上での
過度なトラヒックの発生が抑制される。なお、廃棄され
たIPデータグラムに対する再送制御は、そのIPデー
タグラムに格納されるTCPセグメントに対する制御処
理において実現される。
【0112】第3ワードの“プロトコル”フィールドに
は、そのIPデータグラムの“データ”フィールドに格
納されるデータのフォーマットを規定するための整数値
が設定される。本実施の形態の場合には、図6(c) に示
されるように、IPデータグラムの“データ”フィール
ドにはTCPセグメントデータが格納されるため、その
フォーマットを規定する整数値6が設定される。
【0113】第3ワードの“ヘッダのチェックサム”フ
ィールドには、IPヘッダのデータの誤りを検出するた
めのチェックサムデータが設定される。第4ワードに
は、32ビットの“送信元IPアドレス”が設定され
る。例えばIPデータグラムが移動端末101から音声
制御ホスト装置108へ転送される場合には、“送信元
IPアドレス”としては、後述する発信処理により移動
端末制御ホスト装置104から移動端末101に対して
付与されたIPアドレスが設定される。図1の音声制御
ホスト装置108は、この“送信元IPアドレス”を記
憶することにより、インターネット105を介して移動
端末101に対して、フォーマット文章データ等を返信
することができる。
【0114】第5ワードには、32ビットの“宛先IP
アドレス”が設定される。例えばIPデータグラムが移
動端末101から音声制御ホスト装置108へ転送され
る場合には、“宛先IPアドレス”としては、音声制御
ホスト装置108に固定的に割当てられているIPアド
レスが設定される。移動端末制御ホスト装置104内の
ルーティング部114、インターネット105上の各中
継ホスト装置、及び音声サービスプロバイダ内のルータ
装置106は、受信したIPデータグラムに格納されて
いる上記“宛先IPアドレス”を識別することによっ
て、予め各装置が有する経路制御テーブル情報に従っ
て、そのIPデータグラムの配送経路を決定し、最終的
にそのIPデータグラムを音声サービスプロバイダ内の
音声制御ホスト装置108まで転送することができる。
【0115】第6ワードの“IPオプション”フィール
ドは、オプションであり、インターネット105を構成
する各ネットワークのテスト又はデバッグのための情報
や、インターネット105上での配送経路を制御又は監
視するための制御情報等が設定されるが、ここは本発明
には特には関連しない。
【0116】第6ワードの“パディング”フィールドに
は、データ長を合わせるためのパディングデータが設定
される。次に、IPデータグラムの“データ”フィール
ドには、TCPセグメントデータが格納される。このT
CPセグメントは、トランスミッションコントロールプ
ロトコル(TCP)に従って規定され、その“データ”
フィールドに格納されたデータをインターネット105
上の宛先のホスト装置まで正確に適切な順序で配送する
ための機能を備える。IPデータグラムがインターネッ
ト105上でのデータの一意な転送の機能のみを提供
し、データの信頼性を確保する機能(再送制御機能等)
を提供しないのに対して、TCPセグメントは、データ
の信頼性を確保する機能を提供するものである。
【0117】このように、通信データが、(PPPフレ
ームと)IPデータグラムとTCPセグメントという階
層構造を有するのは、インターネット105上ではなる
べく小さい処理負荷のもとで効率良くデータを配送する
必要があり、エンド対エンド間ではできるかぎり信頼性
の高いデータ配送を実現する必要があるという異なる要
請に効率的に対処するためである。これにより、インタ
ーネット105上の中継ホスト装置は、IPデータグラ
ムのIPヘッダのみを参照することにより、そのIPデ
ータグラムの“データ”フィールドに格納された情報
(TCPセグメント)をできる限り高速かつ効率的に宛
先ホスト装置まで配送することができ、エンド対エンド
(送信元ホスト装置と宛先ホスト装置)間では、TCP
セグメントのTCPヘッダを参照することにより、再送
制御等の信頼性の高いデータ通信を実現することができ
るのである。
【0118】TCPセグメントは、図6(b) に示される
ように、TCPヘッダフィールドとデータフィールドと
から構成される。図7(b) は、TCPヘッダのフォーマ
ット図である。
【0119】TCPヘッダは、IPヘッダの場合と同様
に、32ビットを1ワードとして、5乃至6ワードのデ
ータ長を有し、このデータ長は第4ワードの“ヘッダ
長”フィールドに格納され、また、IPデータグラム全
体のデータ長は、第1ワードの“IPデータグラムの全
長”フィールドに格納される。
【0120】第1ワードの“送信元ポート番号”フィー
ルドと“宛先ポート番号”フィールドには、文音声認識
処理のための通信プロトコルを特定する16ビットの整
数値が設定される。
【0121】音声制御ホスト装置108内のパケット送
受信部115(図1)は、文音声認識処理のための音声
データが格納されたTCPセグメントのほかにも、電子
メールデータを始めとする様々なデータが格納された様
々なTCPセグメントを送受信するため、受信したTC
PセグメントのTCPヘッダに設定されている“宛先ポ
ート番号”フィールドの値を認識することによって、そ
のTCPセグメントの“データ”フィールドに格納され
ているデータを音声制御ホスト装置108で実行される
どのアプリケーションに引き渡すかを決定することがで
きる。
【0122】そして、パケット送受信部115は、受信
したTCPセグメントのTCPヘッダに設定されている
“宛先ポート番号”フィールドの値が文音声認識処理の
ための通信プロトコルに対応する値を示している場合に
は、そのTCPセグメントの“データ”フィールドに格
納されている音声データを移動端末通信制御部116に
引き渡すことができる。
【0123】同様に、移動端末101の通信部111内
の通信制御部321(図3)も、認識音声文章データが
格納されたTCPセグメントのほかにも、ホームページ
データや電子メールデータを始めとする様々なデータが
格納された様々なTCPセグメントを送受信するため、
受信したTCPセグメントのTCPヘッダに設定されて
いる“宛先ポート番号”フィールドの値を認識すること
によって、そのTCPセグメントの“データ”フィール
ドに格納されているデータを移動端末101で実行され
るどのアプリケーションに引き渡すかを決定することが
できる。
【0124】そして、通信制御部321は、受信したT
CPセグメントのTCPヘッダに設定されている“宛先
ポート番号”フィールドの値が文音声認識処理のための
通信プロトコルに対応する値を示している場合には、制
御部110(図1、図3)に、文音声認識処理のための
データの受信を通知し、そのTCPセグメントの“デー
タ”フィールドに格納されている認識音声文章データ等
を引き渡すことができる。
【0125】更に、音声制御ホスト装置108内のパケ
ット送受信部115及び移動端末101の通信部111
内の通信制御部321は、受信したTCPセグメントの
TCPヘッダに設定されている“送信元ポート番号”を
確認することにより、送信元のアプリケーションを確認
することができる。
【0126】次に、図7に示されるTCPヘッダの第2
ワードの“シーケンス番号”フィールドは、現在のTC
Pコネクションにおいて送信側から受信側に送信される
全バイトストリームのうち、このTCPセグメントの
“データ”フィールドに格納されているデータの先頭が
上記全バイトストリームの何バイト目にあたるかを、送
信側から受信側に通知するためのフィールドである。逆
に、第3ワードの“確認応答番号”フィールドは、現在
のTCPコネクションにおいて送信側から受信側に送信
される全バイトストリームのうち、受信側が現在何バイ
ト目までを誤り無く受信したかを、受信側から送信側に
通知するためのフィールドである。これにより、例えば
移動端末101から音声制御ホスト装置108に対し
て、音声データを正しい順序でかつ高い信頼性のもとで
転送することが可能となる。
【0127】第4ワードの“フラグ列”フィールドに
は、TCPセグメントの種類を示す値が設定される。T
CP通信においては、例えばコネクションの開始時又は
終了時等において確認応答のための様々な制御データが
通信されるが、それらの制御データの種類が、“フラグ
列”フィールドに設定される。
【0128】第4ワードの“ウインドウ”フィールド
は、受信側が現在何バイトのデータを連続して受信する
ことが可能であるかを示すウインドウデータを、受信側
から送信側に通知するためのフィールドである。これに
より、受信側から送信側に対するデータのフロー制御が
可能となり、例えば音声制御ホスト装置108の負荷が
高いような場合には移動端末101に対して音声データ
の送信を抑制させる、といようなきめの細かい制御が可
能となる。
【0129】第4ワードの“予約済”フィールドは、予
約用のフィールドである。第5ワードの“チェックサ
ム”フィールドには、TCPヘッダ及び“データ”フィ
ールドに格納されているデータの誤りを検出するための
チェックサムデータが格納される。これにより、例えば
音声制御ホスト装置108は、移動端末101から音声
データを正確に受信することができる。第5ワードの
“緊急ポインタ”は、緊急データ(インタラプトデータ
やアボートデータ等)を通信するための制御データであ
るが、これは本発明には特には関連しない。
【0130】第6ワードの“オプション”フィールド
は、例えば送受信装置間で通信可能な最大セグメント長
を指定するため等に使用されるが、これは本発明には特
には関連しない。
【0131】第6ワードの“パディング”フィールドに
は、データ長を合わせるためのパディングデータが設定
される。上述の構成を有するTCPセグメントの通信
(終端)処理機能は、移動端末101においては通信部
111内の通信制御部321(図3)において実現さ
れ、音声制御ホスト装置108においてはパケット送受
信部115(図1)において実現される。なお、移動端
末101においてCPU316が実行する制御プログラ
ムが上記処理機能を実現するように構成されてもよい。 <発信処理>前述のように、移動端末101の制御部1
10内のCPU316(図3)は、図4のステップ40
4に対応する図5に示される送信処理のうち、移動端末
101が現在図1の移動端末制御ホスト装置104に接
続中でなくステップ502、507、又は511の判定
がNOである場合には、ステップ503、508、又は
512において、図3の通信部111内の通信制御部3
21に対して発信処理を依頼する。この依頼によって、
通信制御部321が実行する発信処理は、図8の動作フ
ローチャートによって示される。
【0132】まず、ステップ801では、リンク確立フ
ェーズが実行される。このフェーズでは、移動端末制御
ホスト装置104のアクセス電話番号に対して自動的に
ダイヤルアップが行われ移動端末制御ホスト装置104
が着信した後、リンクコントロールプロトコル(LC
P)と呼ばれるプロトコルを使用し、通信に使用される
PPPフレーム(図6(a) )の最大データ長の決定、エ
スケープされるべき非透過文字の決定、PPPフレーム
の“プロトコル”フィールド(図6(a) )のデータ長を
2オクテットから1オクテットに圧縮することの有無の
決定、PPPフレームの固定値“11111111”を有する
“アドレス”フィールド(図6(a) )を省略(圧縮)す
ることの有無の決定等に関するネゴシエーションが、移
動端末制御ホスト装置104内の接続確立部113(図
1)との間で実行される。この場合、移動端末101の
通信部111内の通信制御部321と移動端末制御ホス
ト装置104内の接続確立部113との間の通信は、図
6(a) に示されるフォーマットを有するPPPフレーム
を用いて、その“プロトコル”フィールドにLCPを特
定する16進値“c021”を設定し、その“インフォメー
ションフィールド”に、必要な制御データを設定して、
実行される。
【0133】次に、ステップ802においては、認証フ
ェーズが実行される。このフェーズでは、PAP(Pass
word Authentication Protocol)又はCHAP(Challe
ngeHandshake Authentication Protocol )と呼ばれる
認証プロトコルを使用し、移動端末101を使用するユ
ーザの認証が、移動端末制御ホスト装置104内の接続
確立部113(図1)から移動端末101に対して実行
される。これにより、移動端末制御ホスト装置104を
運営するインターネットプロバイダは、移動端末101
を使用するユーザが契約されたユーザであるか否かを決
定できる。この場合、移動端末101の通信部111内
の通信制御部321と移動端末制御ホスト装置104内
の接続確立部113との間の通信は、図6(a) に示され
るフォーマットを有するPPPフレームを用いて、その
“プロトコル”フィールドにPAPを特定する16進値
“c023”又はCHAPを特定する16進値“c223”を設
定し、その“インフォメーションフィールド”に、必要
な認証用データを設定して、実行される。
【0134】最後に、ステップ803では、ネットワー
クレイヤプロトコルフェーズが実行される。本実施の形
態の場合、このフェーズでは、IPコントロールプロト
コル(IPCP)と呼ばれるプロトコルを使用して、T
CPヘッダ(図7(b) 参照)の圧縮の有無が決定される
と共に、移動端末制御ホスト装置104が割当てること
のできる空き(未使用)IPアドレスのうちの1つが移
動端末101に対して割り当てられ、加えて、必要な経
路情報が移動端末101の通信部111内の通信制御部
321(図3)と移動端末制御ホスト装置104内のル
ーティング部114(図1)に設定される。これ以後、
移動端末101は、そのIPアドレスを使用することに
よって、インターネット105に接続される音声制御ホ
スト装置108、及びインターネット105上のユーザ
が希望する任意のリソースにアクセスすることが可能と
なる。この場合、移動端末101の通信部111内の通
信制御部321と移動端末制御ホスト装置104内の接
続確立部113との間の通信は、図6(a) に示されるフ
ォーマットを有するPPPフレームを用いて、その“プ
ロトコル”フィールドにIPCPを特定する16進値
“8021”を設定し、その“インフォメーションフィール
ド”に、必要なIPアドレスのネゴシエーションのため
のデータ等を設定して、実行される。
【0135】以上の一連の動作により、移動端末101
は、移動端末制御ホスト装置104内のルーティング部
114との間で通信用のTCP/IPパケットが格納さ
れたPPPフレームを授受することが可能となり、移動
端末101は、インターネット105上のリソースに自
由にアクセスすることが可能になる。
【0136】なお、PHS通話時にも音声制御ホスト装
置108等へのアクセスを可能とするために、移動端末
101は、例えば2チャネル同時通信機能を有するよう
に構成することができる。
【0137】また、移動端末101の通信部111内の
通信制御部321(図3)は、一定時間(例えば10分
間)送受信データを検出しなかった場合に、移動端末制
御ホスト装置104との間のPPPリンクを自動的に切
断するように構成することができる。 <文音声認識処理に関する移動端末101の送受信処理
の詳細動作>ユーザが移動端末101のタッチパネルを
操作してリアルタイム又は非リアルタイムによる文音声
認識処理の開始を指示した場合及びそれ以後に移動端末
101が実行する送受信処理の詳細な動作について、説
明する。
【0138】上述のタッチパネルの操作は、図3のタッ
チパネル制御部315において検出された後、制御部1
10内のCPU316(図3)によって、それが実行さ
れる前述した図4の動作フローチャートに対応する制御
動作において、ステップ401の判定がYES、ステッ
プ405及び406の判定がNOとなって、ステップ4
09の他キー入力処理が実行されることにより、検出さ
れる。更に、ステップ404の送信処理において、前述
した図5のステップ501の判定がYESとなり、必要
に応じてステップ503で発信処理が実行された後、ス
テップ504において、移動端末101の“端末識別コ
ード”と上述の文音声認識処理の開始指示を示すキー入
力処理に対応するコマンドの送信指示が、図3の通信部
111内の通信制御部321に対して依頼される。
【0139】この結果、通信制御部321は、まず、図
6(c) に示されるフォーマットを有するTCPセグメン
トを生成する。この場合に、図6(c) 及び図7(b) に示
されるフォーマットを有するTCPヘッダにおいて、
“送信元ポート番号”フィールド及び“宛先ポート番
号”フィールドには、文音声認識処理のための通信プロ
トコルを特定する16ビットの整数値が設定される。そ
して、TCPセグメントの“データ”フィールドには、
移動端末101を特定する“端末識別コード”(例えば
そのPHS電話番号)と、ユーザの指定に基づく文音声
認識処理のリアルタイム開始要求コマンド又は文音声認
識処理の非リアルタイム開始要求コマンドとが格納され
る。
【0140】次に、通信制御部321は、上述のTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成する。この場合に、図6(b) 及び図7(a) に示さ
れるフォーマットを有するIPヘッダにおいて、“プロ
トコル”フォーマットには、その“データ”フィールド
に格納されるTCPセグメントデータのフォーマットを
規定する整数値6が設定される。また、“送信元IPア
ドレス”フィールドには、既に実行されている発信処理
(図8のステップ803の説明を参照)によって移動端
末制御ホスト装置104内の接続確立部113から移動
端末101の通信部111内の通信制御部321に対し
て付与されたIPアドレスが設定される。更に、“宛先
IPアドレス”フィールドには、音声制御ホスト装置1
08に割り当てられているIPアドレスが設定される。
【0141】そして、通信制御部321は、上述のIP
データグラムが“インフォメーション”フィールドに格
納され、その”インフォメーション”フィールドにIP
データグラムが格納されていることを示す16進値“00
21”が“プロトコル”フィールドに格納された図6(a)
に示されるフォーマットを有するPPPフレームを生成
し、通信制御部321内に設定されている経路情報(図
8のステップ803の説明を参照)に従って、上記PP
Pフレームを移動端末制御ホスト装置104に送信す
る。以降、上述のTCPセグメント、IPデータグラ
ム、及びPPPフレームとからなるデータ単位がインタ
ーネット105内を転送される場合に、そのデータ単位
を単にTCP/IPパケットと呼ぶ。
【0142】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、移動端末制御ホスト
装置104内のルーティング部114とインターネット
105内の特には図示しない中継ホスト装置によって、
音声サービスプロバイダ内のルータ装置106まで転送
された後、更に、LAN107を介して音声制御ホスト
装置108内のパケット送受信部115まで転送され
る。
【0143】パケット送受信部115は、転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダの“宛先IPアドレス”フィールドに自分で
ある音声制御ホスト装置108のIPアドレスが設定さ
れていることを識別することによって、そのTCP/I
Pパケットを受信する。
【0144】そして、パケット送受信部115は、受信
したTCP/IPパケットを構成するTCPセグメント
の“宛先ポート番号”フィールド及び“送信元ポート番
号”フィールドに文音声認識処理のための通信プロトコ
ルを特定する16ビットの整数値が設定されていること
を確認することによって、移動端末通信制御部116
(図1)に対して受信通知を通知する。
【0145】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と文音声認識処理のリアルタイム開始要求コマンド
又は文音声認識処理の非リアルタイム開始要求コマンド
とを取り出して、それらのデータを移動端末通信制御部
116に引き渡す。
【0146】この結果、後述するようにして音声制御ホ
スト装置108から移動端末101に対して、送信許可
データが格納されたTCP/IPパケットが返信され
る。このTCP/IPパケットは、それを構成するIP
データグラムのIPヘッダに格納されている“宛先IP
アドレス”に基づいて、音声サービスプロバイダ内のル
ータ装置106と、インターネット105内の特には図
示しない中継ホスト装置によって、移動端末制御ホスト
装置104内のルーティング部114まで転送された
後、更に、PHS網103(図1)を介して移動端末1
01の通信部111内の通信制御部321(図3)まで
転送される。
【0147】移動端末101の通信部111内の通信制
御部321は、転送されてきたTCP/IPパケットを
構成するIPデータグラムのIPヘッダの“宛先IPア
ドレス”フィールドに自分である移動端末101(に一
時的又は動的)に割当てられているのIPアドレスが設
定されていることを識別することによって、そのTCP
/IPパケットを受信する。
【0148】そして、通信制御部321は、受信したT
CP/IPパケットを構成するTCPセグメントの“宛
先ポート番号”フィールド及び“送信元ポート番号”フ
ィールドに文音声認識処理のための通信プロトコルを特
定する16ビットの整数値が設定されていることを確認
することにより、移動端末101の制御部110内のC
PU316に対して受信通知を通知する。
【0149】この通知と共に、通信制御部321は、受
信したTCP/IPパケットを構成するTCPセグメン
トの“データ”フィールドから送信許可データを取り出
し、それをCPU316に引き渡す。
【0150】CPU316は、上述の受信通知と送信許
可データを、前述した図4のステップ403で処理し、
その送信許可データをRAM317に記憶する。移動端
末101では、ユーザがタッチパネルを操作してリアル
タイム又は非リアルタイムによる文音声認識処理の開始
を指示することによって、CPU316が、前述した図
4のステップ408で、図3の入力部109内のマイク
制御部303に対して、PHS通話処理の開始指示、又
は文音声認識処理を実行するためのオフライン状態での
音声入力処理の開始を指示する。これにより、ユーザ
は、通話動作又はオフライン状態での音声入力動作によ
ってマイク301(図2の201)からの音声の入力を
開始している。
【0151】これ以後、CPU316により前述した図
4のステップ401→402→403→404→401
の繰返しループの1処理として実行されるステップ40
4の送信処理において、図5のステップ505、506
の判定がYESとなり、必要に応じてステップ508で
再度の発信処理が実行された後、ステップ509で、図
3に示される入力部109内のマイク制御部303から
制御部110内のRAM317に転送されてきている音
声データの送信指示が、通信部111内の通信制御部3
21に対して依頼される。
【0152】この結果、通信制御部321は、まず、図
6(c) に示されるフォーマットを有するTCPセグメン
トを生成する。この場合に、図6(c) 及び図7(b) に示
されるフォーマットを有するTCPヘッダにおいて、
“送信元ポート番号”フィールド及び“宛先ポート番
号”フィールドには、文音声認識処理のための通信プロ
トコルを特定する16ビットの整数値が設定される。そ
して、TCPセグメントの“データ”フィールドには、
図3に示される入力部109内のマイク制御部303か
ら制御部110内のRAM317に転送されてきている
音声データが格納される。
【0153】次に、通信制御部321は、上述のTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成する。この場合に、図6(b) 及び図7(a) に示さ
れるフォーマットを有するIPヘッダにおいて、“プロ
トコル”フォーマットには、その“データ”フィールド
に格納されるTCPセグメントデータのフォーマットを
規定する整数値6が設定される。また、“送信元IPア
ドレス”フィールドには、既に実行されている発信処理
(図8のステップ803の説明を参照)によって移動端
末制御ホスト装置104内の接続確立部113から移動
端末101の通信部111内の通信制御部321に対し
て付与されたIPアドレスが設定される。更に、“宛先
IPアドレス”フィールドには、音声制御ホスト装置1
08に割り当てられているIPアドレスが設定される。
【0154】そして、通信制御部321は、上述のIP
データグラムが“インフォメーション”フィールドに格
納され、その”インフォメーション”フィールドにIP
データグラムが格納されていることを示す16進値“00
21”が“プロトコル”フィールドに格納された図6(a)
に示されるフォーマットを有するPPPフレームを生成
し、通信制御部321内に設定されている経路情報(図
8のステップ803の説明を参照)に従って、上記PP
Pフレームを移動端末制御ホスト装置104に送信す
る。
【0155】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、移動端末制御ホスト
装置104内のルーティング部114とインターネット
105内の特には図示しない中継ホスト装置によって、
音声サービスプロバイダ内のルータ装置106まで転送
された後、更に、LAN107を介して音声制御ホスト
装置108内のパケット送受信部115まで転送され
る。
【0156】パケット送受信部115は、転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダの“宛先IPアドレス”フィールドに自分で
ある音声制御ホスト装置108のIPアドレスが設定さ
れていることを識別することによって、そのTCP/I
Pパケットを受信する。
【0157】そして、パケット送受信部115は、受信
したTCP/IPパケットを構成するTCPセグメント
の“宛先ポート番号”フィールド及び“送信元ポート番
号”フィールド文音声認識処理のための通信プロトコル
を特定する16ビットの整数値が設定されていることを
確認することにより、移動端末通信制御部116(図
1)に対して受信通知を通知する。
【0158】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから音声データを取り
出して、それらのデータを移動端末通信制御部116に
引き渡す。
【0159】この結果、移動端末通信制御部116は、
後述するようにして文音声認識処理の制御を実行し、文
音声認識部117に対して受信した音声データの認識処
理を実行させる。そして、上述の音声データについて移
動端末101から文音声認識処理のリアルタイム開始要
求コマンドが指定されている場合には、移動端末通信制
御部116は、後述するようにして、文音声認識部11
7からその結果として得た認識音声文章データが格納さ
れたTCP/IPパケットを、移動端末101に対して
返信する。
【0160】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、音声サービスプロバ
イダ内のルータ装置106と、インターネット105内
の特には図示しない中継ホスト装置によって、移動端末
制御ホスト装置104内のルーティング部114まで転
送された後、更に、PHS網103(図1)を介して移
動端末101の通信部111内の通信制御部321(図
3)まで転送される。
【0161】移動端末101の通信部111内の通信制
御部321は、転送されてきたTCP/IPパケットを
構成するIPデータグラムのIPヘッダの“宛先IPア
ドレス”フィールドに自分である移動端末101(に一
時的又は動的)に割当てられているのIPアドレスが設
定されていることを識別することによって、そのTCP
/IPパケットを受信する。
【0162】そして、通信制御部321は、受信したT
CP/IPパケットを構成するTCPセグメントの“宛
先ポート番号”フィールド及び“送信元ポート番号”フ
ィールドに文音声認識処理のための通信プロトコルを特
定する16ビットの整数値が設定されていることを確認
することにより、移動端末101の制御部110内のC
PU316に対して受信通知を通知する。
【0163】この通知と共に、通信制御部321は、受
信したTCP/IPパケットを構成するTCPセグメン
トの“データ”フィールドから認識音声文章データを取
り出し、それをCPU316に引き渡す。
【0164】CPU316は、上述の受信通知と認識音
声文章データを、前述した図4のステップ402で処理
し、その認識音声文章データをLCD表示部311(図
2の203)に表示する。
【0165】ユーザは、移動端末101のタッチパネル
を操作することにより、音声制御ホスト装置108に対
して文音声認識処理の終了を示すための、文音声認識処
理の終了要求コマンドを指示することができる。
【0166】この場合に、上述のタッチパネルの操作
は、図3のタッチパネル制御部315において検出され
た後、制御部110内のCPU316(図3)によっ
て、それが実行される前述した図4の動作フローチャー
トに対応する制御動作において、ステップ401の判定
がYES、ステップ405及び406の判定がNOとな
って、ステップ409の他キー入力処理が実行されるこ
とにより、検出される。更に、ステップ404の送信処
理において、前述した図5のステップ501の判定がY
ESとなり、必要に応じてステップ503で発信処理が
実行された後、ステップ504において、移動端末10
1の“端末識別コード”と上述の文音声認識処理の終了
要求コマンドの送信指示が、図3の通信部111内の通
信制御部321に対して依頼される。
【0167】この結果、通信制御部321は、まず、
“データ”フィールドに移動端末101を特定する“端
末識別コード”と文音声認識処理の終了要求コマンドと
が格納された図6(c) に示されるフォーマットを有する
TCPセグメントを生成し、次に、そのTCPセグメン
トが“データ”フィールドに格納された図6(b) に示さ
れるフォーマットを有するIPデータグラムを生成し、
更に、そのIPデータグラムが“インフォメーション”
フィールドに格納された図6(a) に示されるフォーマッ
トを有するPPPフレームを生成し、それらからなるT
CP/IPパケットを送信する。この場合に、TCPヘ
ッダ(図6(c) 、図7(b) )、IPヘッダ(図6(b) 、
図7(a) )、及び“プロトコル”フィールド(図6(a)
)に設定される各情報は、前述の文音声認識処理のリ
アルタイム開始要求コマンド又は文音声認識処理の非リ
アルタイム開始要求コマンドが送信される場合に設定さ
れる各情報と同一である。
【0168】この結果、上述のTCP/IPパケット
は、前述の文音声認識処理のリアルタイム開始要求コマ
ンド等が格納されたTCP/IPパケットの場合と全く
同様にして、インターネット105を介して音声制御ホ
スト装置108内のパケット送受信部115まで転送さ
れる。
【0169】パケット送受信部115は、前述の文音声
認識処理のリアルタイム開始要求コマンド等が格納され
たTCP/IPパケットが転送されてきた場合と全く同
様にして、転送されてきたTCP/IPパケットを受信
し、移動端末通信制御部116(図1)に対して受信通
知を通知する。
【0170】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と文音声認識処理の終了要求コマンドとを取り出し
て、それらのデータを移動端末通信制御部116に引き
渡す。
【0171】この結果、移動端末通信制御部116は、
後述するようにしてその移動端末101に対する文音声
認識処理を終了する。ユーザは、文音声認識処理の非リ
アルタイム開始要求コマンドを指定することにより、音
声制御ホスト装置108に対して、認識音声文章データ
を即座に移動端末101に返信することはさせずに、そ
れを順次蓄積させることができる。この場合、ユーザ
は、後に、移動端末101のタッチパネルを操作するこ
とにより、音声制御ホスト装置108に蓄積されている
認識音声文章データを一括して移動端末101に返信さ
せるための、文音声認識結果の一括転送要求コマンドを
指示することができる。
【0172】この場合に、上述のタッチパネルの操作
は、図3のタッチパネル制御部315において検出され
た後、制御部110内のCPU316(図3)によっ
て、それが実行される前述した図4の動作フローチャー
トに対応する制御動作において、ステップ401の判定
がYES、ステップ405及び406の判定がNOとな
って、ステップ409の他キー入力処理が実行されるこ
とにより、検出される。更に、ステップ404の送信処
理において、前述した図5のステップ501の判定がY
ESとなり、必要に応じてステップ503で発信処理が
実行された後、ステップ504において、移動端末10
1の“端末識別コード”と上述の文音声認識結果の一括
転送要求コマンドの送信指示が、図3の通信部111内
の通信制御部321に対して依頼される。
【0173】この結果、通信制御部321はまず、“デ
ータ”フィールドに移動端末101を特定する“端末識
別コード”と文音声認識結果の一括転送要求コマンドと
が格納された図6(c) に示されるフォーマットを有する
TCPセグメントを生成し、次に、そのTCPセグメン
トが“データ”フィールドに格納された図6(b) に示さ
れるフォーマットを有するIPデータグラムを生成し、
更に、そのIPデータグラムが“インフォメーション”
フィールドに格納された図6(a) に示されるフォーマッ
トを有するPPPフレームを生成し、それらからなるT
CP/IPパケットを送信する。この場合に、TCPヘ
ッダ(図6(c) 、図7(b) )、IPヘッダ(図6(b) 、
図7(a) )、及び“プロトコル”フィールド(図6(a)
)に設定される各情報は、前述の文音声認識処理のリ
アルタイム開始要求コマンド又は文音声認識処理の非リ
アルタイム開始要求コマンドが送信される場合に設定さ
れる各情報と同一である。
【0174】この結果、上述のTCP/IPパケット
は、前述の文音声認識処理のリアルタイム開始要求コマ
ンド等が格納されたTCP/IPパケットの場合と全く
同様にして、インターネット105を介して音声制御ホ
スト装置108内のパケット送受信部115まで転送さ
れる。
【0175】パケット送受信部115は、前述の文音声
認識処理のリアルタイム開始要求コマンド等が格納され
たTCP/IPパケットが転送されてきた場合と全く同
様にして、転送されてきたTCP/IPパケットを受信
し、移動端末通信制御部116(図1)に対して受信通
知を通知する。
【0176】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と文音声認識結果の一括転送要求コマンドとを取り
出して、それらのデータを移動端末通信制御部116に
引き渡す。
【0177】この結果、移動端末通信制御部116は、
後述するようにして、認識音声文章データが格納された
TCP/IPパケットを、移動端末101に対して一括
して転送する。
【0178】このTCP/IPパケットは、前述したよ
うにして通信制御部321(図3)まで転送された後、
通信制御部321からCPU316に、受信通知と認識
音声文章データが引き渡される。
【0179】CPU316は、上述の受信通知と認識音
声文章データを、前述した図4のステップ402で処理
し、その認識音声文章データをLCD表示部311(図
2の203)に表示する。 <移動端末通信制御部116と文音声認識部117の概
略動作>次に、音声制御ホスト装置108内の移動端末
通信制御部116と文音声認識部117の概略動作につ
いて説明する。
【0180】移動端末通信制御部116は、文音声認識
処理のリアルタイム開始要求コマンド又は文音声認識処
理の非リアルタイム開始要求コマンドを送信した移動端
末101に割当てられている“端末識別コード”(上記
コマンドを転送してきたTCPセグメントに格納されて
いる)毎に、図13に示されるデータ構造を有する処理
端末登録テーブルにエントリを登録すると共に、音声デ
ータの受信用のバッファファイル(音声バッファファイ
ル)と認識音声文章データの送信用のバッファファイル
(文章バッファファイル)とを音声制御ホスト装置10
8が管理するファイルシステム上に作成する。また、移
動端末通信制御部116は、上記エントリとファイルの
登録に成功すると、上記コマンドを転送してきたIPデ
ータグラムに格納されていた“送信元IPアドレス”の
移動端末101に向けて、送信許可データを返信する。
【0181】移動端末通信制御部116は、それ以後移
動端末101から受信した音声データを、その“送信元
IPアドレス”(それを転送してきたIPデータグラム
に格納されている)に対応する処理端末登録テーブルの
エントリから特定される音声バッファファイルに追加書
き込みする。
【0182】文音声認識部117は、図13に示される
処理端末登録テーブルのエントリ毎に、各エントリから
特定される音声バッファファイルに音声データが受信さ
れていればそれに対して文音声認識処理を実行し、その
結果得られる認識音声文章データを上記各エントリに対
応する文章バッファファイルに追加書き込みする。
【0183】移動端末通信制御部116は、リアルタイ
ム要求が設定されている処理端末登録テーブルのエント
リ毎に、各エントリから特定される文章バッファファイ
ルに認識音声文章データが得られていれば、それを各エ
ントリに登録されている“送信元IPアドレス”の移動
端末101に向けて返信する。
【0184】移動端末通信制御部116は、文音声認識
処理の終了要求コマンドを受信しかつリアルタイム要求
が設定されている処理端末登録テーブルのエントリ、又
はリアルタイム要求が設定されておりかつ最終アクセス
時刻が現在時刻から一定時間前の時刻よりも更に前の時
刻である処理端末登録テーブルのエントリについて、そ
のエントリの内容を削除し、それから特定される音声/
文章バッファファイルを削除する。
【0185】移動端末通信制御部116は、リアルタイ
ム要求が設定されていない(即ち、非リアルタイム要求
が設定されている)処理端末登録テーブルのエントリに
ついて、そのエントリの内容とそれから特定される音声
/文章バッファファイルは、対応する移動端末101と
の通信終了後も保存し、後に、その移動端末101から
文音声認識結果の一括転送要求コマンドを受信した時点
で、その移動端末101の“端末識別コード”に対応す
る処理端末登録テーブルのエントリから特定される文章
バッファファイルに保存されていた認識音声文章データ
を、上記コマンドを転送してきたIPデータグラムに格
納されていた“送信元IPアドレス”の移動端末101
に向けて送信する。 <移動端末通信制御部116の詳細動作>図9〜図12
は、上記機能を実現するために、移動端末通信制御部1
16が実行する制御動作を示す動作フローチャートであ
る。この動作フローチャートは、移動端末通信制御部1
16を制御する特には図示しないプロセッサが、特には
図示しない制御プログラムを実行する動作として実現さ
れる。
【0186】まず、ステップ901で、音声制御ホスト
装置108内のパケット送受信部115(図1)から受
信通知が通知されたか否かが判定される。前述したよう
に、パケット送受信部115は、インターネット105
から転送されてきたTCP/IPパケットを構成するI
PデータグラムのIPヘッダの“宛先IPアドレス”フ
ィールドに自分である音声制御ホスト装置108のIP
アドレスが設定されていることを識別することにより、
そのTCP/IPパケットを受信し、かつ、それを構成
するTCPセグメントの“宛先ポート番号”フィールド
及び“送信元ポート番号”フィールドに文音声認識処理
のための通信プロトコルを特定する16ビットの整数値
が設定されていることを確認することによって、移動端
末通信制御部116に対して受信通知を通知する。この
受信通知は、文音声認識処理のリアルタイム開始要求コ
マンド、文音声認識処理の非リアルタイム開始要求コマ
ンド、文音声認識処理の対象である音声データ、文音声
認識処理の終了要求コマンド、又は文音声認識結果の一
括転送要求コマンドの何れかに関する受信通知である。
パケット送受信部115から受信通知が通知されステッ
プ901の判定がYESとなると、ステップ902で、
パケット送受信部115から受信通知と共に引き渡され
たデータが取り込まれる。この場合に、受信通知が、文
音声認識処理のリアルタイム開始要求コマンド、文音声
認識処理の非リアルタイム開始要求コマンド、又は文音
声認識結果の一括転送要求コマンドの何れかの受信通知
である場合には、“送信元IPアドレス”と“端末識別
コード”と上記コマンドとが取り込まれる。また、受信
通知が、音声データの受信通知である場合には、“送信
元IPアドレス”と音声データとが取り込まれる。更
に、受信通知が、文音声認識処理の終了要求コマンドの
受信通知である場合には、“端末識別コード”とそのコ
マンドとが取り込まれる。
【0187】ステップ902の処理の後に、図9のステ
ップ903、図10のステップ909、図10のステッ
プ911、又は図11のステップ915の判定が順に検
査され、何れかの判定結果がYESとなる。即ち、ステ
ップ902でパケット送受信部115から引き渡された
データが、文音声認識処理のリアルタイム開始要求コマ
ンド又は文音声認識処理の非リアルタイム開始要求コマ
ンドに関するものである場合はステップ903の判定が
YESとなってステップ904〜908が実行され、音
声データに関するものである場合は図10のステップ9
09の判定がYESとなってステップ910が実行さ
れ、文音声認識処理の終了要求コマンドに関するもので
ある場合には図10のステップ911の判定がYESと
なってステップ912〜914が実行され、文音声認識
結果の一括転送要求コマンドに関するものである場合に
は図11のステップ915の判定がYESとなってステ
ップ916〜918が実行される。
【0188】パケット送受信部115から受信通知が通
知されておらずステップ901の判定がNOの場合、又
は上述の各コマンド又は音声データの受信に対応する処
理の後には、図12のステップ919と920で認識音
声文章データの送信処理が実行され、それに続くステッ
プ921及び922で最終アクセス時刻が一定時間以上
前である移動端末101との通信を終了させるための処
理が行われた後、再び図9のステップ901の判定処理
に戻る。
【0189】ステップ901の判定がYESであり、ス
テップ902でパケット送受信部115から引き渡され
たデータが文音声認識処理のリアルタイム開始要求コマ
ンド又は文音声認識処理の非リアルタイム開始要求コマ
ンドに関するものである場合において、ステップ903
の判定がYESとなって実行されるステップ904〜9
08の処理について説明する。
【0190】まず、ステップ904では、ステップ90
2でパケット送受信部115から引き渡された“端末識
別コード”に対応するエントリが、処理端末登録テーブ
ルに登録されているか否かが判定される。
【0191】移動端末101から初めて文音声認識処理
のリアルタイム開始要求コマンド又は文音声認識処理の
非リアルタイム開始要求コマンドが指定された場合に
は、この判定はNOとなる。
【0192】その結果、ステップ905では、音声デー
タの受信用のバッファファイルである音声バッファファ
イルと、認識音声文章データの送信用のバッファファイ
ルである文章バッファファイルとが、音声制御ホスト装
置108が管理するファイルシステム上に作成される。
【0193】次に、ステップ906では、移動端末通信
制御部116内の特には図示しないメモリに記憶される
図13に示されるデータ構造を有する処理端末登録テー
ブルに、1つのエントリ(横1行のデータ組)が確保さ
れる。そして、そのエントリに、“端末識別コード”
と、“送信元IPアドレス”と、リアルタイム要求の有
無と、最終アクセス時刻と、音声バッファファイル名
と、文章バッファファイル名とが、登録される。“端末
識別コード”は、ステップ902においてパケット送受
信部115から引き渡されたデータであり、移動端末1
01から転送されてきたTCP/IPパケットを構成す
るTCPセグメントの“データ”フィールドに格納され
ていたものである(図6(c) 参照)。“送信元IPアド
レス”は、やはりステップ902においてパケット送受
信部115から引き渡されたデータであり、移動端末1
01から転送されてきたTCP/IPパケットを構成す
るIPデータグラムのIPヘッダに格納されていたもの
である(図6(b) 、図7(a) 参照)。リアルタイム要求
の有無は、ステップ902においてパケット送受信部1
15から引き渡されたコマンドが、文音声認識処理のリ
アルタイム開始要求コマンドである場合には“有り”
(値“1”)に設定され、文音声認識処理の非リアルタ
イム開始要求コマンドである場合には“無し”(値
“0”)に設定される。最終アクセス時刻には、現在時
刻が設定される。音声バッファファイル名と文章バッフ
ァファイル名は、ステップ905で作成された各ファイ
ルを示すファイル名である。
【0194】次に、前述したように、移動端末101か
ら初めて文音声認識処理のリアルタイム開始要求コマン
ド又は文音声認識処理の非リアルタイム開始要求コマン
ドが指定された場合には、処理端末登録テーブルに対応
するエントリは存在しないため、前述したステップ90
4の判定はYESとなる。また、前述したように、移動
端末101から文音声認識処理のリアルタイム開始要求
コマンドが指定されて文音声認識処理の実行が開始され
た後に、その移動端末101から文音声認識処理の終了
要求コマンドを受信した場合又は最終アクセス時刻が現
在時刻から一定時間前の時刻よりも更に前の時刻である
(即ち一定時間アクセスがない)場合には、処理端末登
録テーブル上の対応するエントリは削除される。
【0195】しかし、移動端末101から文音声認識処
理のリアルタイム開始要求コマンドが指定されて文音声
認識処理の実行が開始された後に、処理端末登録テーブ
ル上の対応するエントリが削除されないうちに、再び同
じ移動端末101から文音声認識処理のリアルタイム開
始要求コマンド又は文音声認識処理の非リアルタイム開
始要求コマンドが指定された場合は、ステップ904の
判定はYESとなる。また、前回、移動端末101から
文音声認識処理の非リアルタイム開始要求コマンドが指
定された文音声認識処理が実行された後、まだ、その移
動端末101から文音声認識結果の一括転送要求コマン
ドが指定されていないうちに、再び同じ移動端末101
から文音声認識処理のリアルタイム開始要求コマンド又
は文音声認識処理の非リアルタイム開始要求コマンドが
指定された場合にも、ステップ904の判定はYESと
なる(後述する図11のステップ917参照)。
【0196】このような場合には、処理端末登録テーブ
ル上の削除されていない前回と同じエントリが使用され
る。そして、ステップ907において、処理端末登録テ
ーブル上の上記エントリに記憶されている“送信元IP
アドレス”とリアルタイム要求の有無のみが、図9のス
テップ902においてパケット送受信部115から引き
渡された新しいデータに更新され、また、最終アクセス
時刻が現在時刻に更新される。
【0197】前述したステップ906又は上記ステップ
907の処理の後、ステップ908では、ステップ90
2でパケット送受信部115から引き渡され処理端末登
録テーブルの上記エントリに登録された“送信元IPア
ドレス”に向けて、送信許可データが返信される。
【0198】具体的には、移動端末通信制御部116
は、“送信元IPアドレス”への送信許可データの返信
を、パケット送受信部115(図1)に対して依頼す
る。この結果、パケット送受信部115は、まず、図6
(c) に示されるフォーマットを有するTCPセグメント
を生成する。この場合、図6(c) 及び図7(b) に示され
るフォーマットを有するTCPヘッダにおいて、“送信
元ポート番号”フィールド及び“宛先ポート番号”フィ
ールドには、文音声認識処理のための通信プロトコルを
特定する16ビットの整数値が設定される。そして、T
CPセグメントの“データ”フィールドには、送信許可
データが格納される。
【0199】次に、パケット送受信部115は、上述の
TCPセグメントが“データ”フィールドに格納された
図6(b) に示されるフォーマットを有するIPデータグ
ラムを生成する。この場合に、図6(b) 及び図7(a) に
示されるフォーマットを有するIPヘッダにおいて、
“プロトコル”フォーマットには、その“データ”フィ
ールドに格納されるTCPセグメントデータのフォーマ
ットを規定する整数値6が設定される。また、“送信元
IPアドレス”フィールドには、音声制御ホスト装置1
08に割当てられているIPアドレスが設定される。更
に、“宛先IPアドレス”フィールドには、図9のステ
ップ902でパケット送受信部115から引き渡された
“送信元IPアドレス”が設定される。
【0200】そして、パケット送受信部115は、上述
のIPデータグラムが格納されたLAN107上のプロ
トコルに従ったフレームを生成し、それをLAN107
に送出する。例えば、LAN107がイーサネット方式
によるローカルエリアネットワークであれば、上記フレ
ームは、イーサネットフレームである。
【0201】上記フレームとIPデータグラムとTCP
セグメントとから構成されるTCP/IPパケットは、
それを構成するIPデータグラムのIPヘッダに格納さ
れている“宛先IPアドレス”に基づいて、ルータ装置
106及びインターネット105を介して移動端末制御
ホスト装置104まで転送された後、更に、PHS網1
03及び無線基地(又は有線接続装置)102を介し
て、移動端末101の通信部111内の通信制御部32
1(図3)まで転送される。
【0202】これ以降、移動端末101から音声制御ホ
スト装置108へは、前述したようにして、音声データ
が転送されてくる。ステップ908の処理の後は、図1
2のステップ919と920で認識音声文章データの送
信処理が実行され、それに続くステップ921及び92
2で最終アクセス時刻が一定時間以上前である移動端末
101との通信を終了させるための処理が行われた後、
再び図9のステップ901の判定処理に戻る。
【0203】次に、図9のステップ901の判定がYE
Sであり、ステップ902でパケット送受信部115か
ら引き渡されたデータが音声データである場合におい
て、図10のステップ909の判定がYESとなって実
行されるステップ910の処理について説明する。
【0204】即ち、ステップ910では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“送信元IPアドレス”が記憶されている処理端
末登録テーブル(図13)のエントリが検索され、該当
するエントリに記憶されている音声バッファファイル名
に対応する音声バッファファイル(図9のステップ90
6参照)に、図9のステップ902でパケット送受信部
115から引き渡された音声データが追加書き込みされ
る。なお、追加書込み時の音声バッファファイルのサイ
ズは、音声制御ホスト装置108が管理するファイルシ
ステムによって自動的に調整される。
【0205】また、ステップ910では、上記該当する
エントリに記憶されている最終アクセス時刻が、現在時
刻に更新される。このようにして、移動端末101毎
(“端末識別コード”毎)の音声バッファファイルを介
して、移動端末通信制御部116から文音声認識部11
7(図1)に音声データが引き渡される。即ち、文音声
認識部117は、後述するように、図13に示される処
理端末登録テーブルのエントリ毎に、各エントリから特
定される音声バッファファイルに音声データが受信され
ていればそれに対して文音声認識処理を実行し、その結
果得られる認識音声文章データを上記各エントリに対応
する文章バッファファイルに追加書き込みすることにな
る。
【0206】ステップ910の処理の後は、図12のス
テップ919と920で認識音声文章データの送信処理
が実行され、それに続くステップ921及び922で最
終アクセス時刻が一定時間以上前である移動端末101
との通信を終了させるための処理が行われた後、再び図
9のステップ901の判定処理に戻る。
【0207】次に、図9のステップ901の判定がYE
Sであり、ステップ902でパケット送受信部115か
ら引き渡されたデータが文音声認識処理の終了要求コマ
ンドに関するものである場合において、図10のステッ
プ911の判定がYESとなって実行されるステップ9
12〜914の処理について説明する。
【0208】まず、ステップ912では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“端末識別コード”が記憶されている処理端末登
録テーブル(図13)のエントリに、リアルタイム要求
として“有り”(値“1”)が記憶されているか否かが
判定される。
【0209】上記エントリにリアルタイム要求として
“有り”(値“1”)が記憶されていない、即ちリアル
タイム要求として“無し”(値“0”が記憶されてお
り、移動端末101から最初に文音声認識処理の非リア
ルタイム開始要求コマンドが指示されていた場合には、
文音声認識処理の終了要求コマンドの受信後も処理端末
登録テーブルのエントリ、文章バッファファイル、及び
音声バッファファイル(この内容は通常文音声認識処理
が終了した時点で空となる)の各内容は保持されるた
め、ステップ912の判定がNOとなってステップ91
3及び914の処理は実行されず、図12のステップ9
19と920で認識音声文章データの送信処理が実行さ
れ、それに続くステップ921及び922で最終アクセ
ス時刻が一定時間以上前である移動端末101との通信
を終了させるための処理が行われた後、再び図9のステ
ップ901の判定処理に戻る。
【0210】一方、前記エントリにリアルタイム要求と
して“有り”(値“1”)が記憶されている、即ち移動
端末101から最初に文音声認識処理のリアルタイム開
始要求コマンドが指示されていた場合は、ステップ91
2の判定がYESとなる。
【0211】この結果、まず、ステップ913で、図9
のステップ902でパケット送受信部115から引き渡
されたのと同じ“端末識別コード”が記憶されている処
理端末登録テーブル(図13)のエントリの内容が全て
削除される。
【0212】また、ステップ914で、上記エントリに
記憶されていた音声バッファファイル名に対応する音声
バッファファイル及び文章バッファファイル名に対応す
る文章バッファファイルが、音声制御ホスト装置108
が管理するファイルシステム上から削除される。
【0213】ステップ914の処理の後は、図12のス
テップ919と920で認識音声文章データの送信処理
が実行され、それに続くステップ921及び922で最
終アクセス時刻が一定時間以上前である移動端末101
との通信を終了させるための処理が行われた後、再び図
9のステップ901の判定処理に戻る。
【0214】続いて、図9のステップ901の判定がY
ESであり、ステップ902でパケット送受信部115
から引き渡されたデータが文音声認識結果の一括転送要
求コマンドに関するものである場合において、図11の
ステップ915の判定がYESとなって実行されるステ
ップ916〜918の処理について説明する。
【0215】まず、ステップ916では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“端末識別コード”が記憶されている処理端末登
録テーブル(図13)のエントリから得られる文章バッ
ファファイル名に対応する文章バッファファイルから、
認識音声文章データが一括して読み出され、それが1つ
以上のTCP/IPパケットに格納され、図9のステッ
プ902でパケット送受信部115から引き渡された
“送信元IPアドレス”に向けて送信される。
【0216】具体的には、移動端末通信制御部116
は、“送信元IPアドレス”への認識音声文章データの
送信を、パケット送受信部115に対し依頼する。この
結果、パケット送受信部115は、まず、図6(c) に示
されるフォーマットを有するTCPセグメントを生成す
る。この場合、図6(c) 及び図7(b) に示されるフォー
マットを有するTCPヘッダにおいて、“送信元ポート
番号”フィールド及び“宛先ポート番号”フィールドに
は、文音声認識処理のための通信プロトコルを特定する
16ビットの整数値が設定される。そして、TCPセグ
メントの“データ”フィールドには、認識音声文章デー
タが格納される。
【0217】次に、パケット送受信部115は、上述の
TCPセグメントが“データ”フィールドに格納された
図6(b) に示されるフォーマットを有するIPデータグ
ラムを生成する。この場合に、図6(b) 及び図7(a) に
示されるフォーマットを有するIPヘッダにおいて、
“プロトコル”フォーマットには、その“データ”フィ
ールドに格納されるTCPセグメントデータのフォーマ
ットを規定する整数値6が設定される。また、“送信元
IPアドレス”フィールドには、音声制御ホスト装置1
08に割当てられているIPアドレスが設定される。更
に、“宛先IPアドレス”フィールドには、図9のステ
ップ902でパケット送受信部115から引き渡された
“送信元IPアドレス”が設定される。
【0218】そして、パケット送受信部115は、上述
のIPデータグラムが格納されたLAN107上のプロ
トコルに従ったフレームを生成し、それをLAN107
に送出する。
【0219】上記フレームとIPデータグラムとTCP
セグメントとから構成されるTCP/IPパケットは、
それを構成するIPデータグラムのIPヘッダに格納さ
れている“宛先IPアドレス”に基づいて、ルータ装置
106及びインターネット105を介して移動端末制御
ホスト装置104まで転送された後、更に、PHS網1
03及び無線基地(又は有線接続装置)102を介し
て、移動端末101の通信部111内の通信制御部32
1(図3)まで転送され、前述したように、移動端末1
01のLCD表示部311(図2の203)に表示され
る。
【0220】次に、ステップ917では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“端末識別コード”が記憶されている処理端末登
録テーブル(図13)のエントリの内容が全て削除され
る。
【0221】また、ステップ918で、上記エントリに
記憶されていた音声バッファファイル名に対応する音声
バッファファイル及び文章バッファファイル名に対応す
る文章バッファファイルが、音声制御ホスト装置108
が管理するファイルシステム上から削除される。
【0222】ステップ918の処理の後は、図12のス
テップ919と920で認識音声文章データの送信処理
が実行され、それに続くステップ921及び922で最
終アクセス時刻が一定時間以上前である移動端末101
との通信を終了させるための処理が行われた後、再び図
9のステップ901の判定処理に戻る。
【0223】パケット送受信部115から受信通知が通
知されておらず図9のステップ901の判定がNOの場
合、又は上述の各コマンド又は音声データの受信に対応
する処理の後に実行される、図12のステップ919と
920の処理、及びそれに続くステップ921と922
の処理について説明する。
【0224】これらの処理において、文音声認識部11
7から得られている認識音声文章データの送信処理が実
行される。まず、ステップ919では、処理端末登録テ
ーブル(図13)において、リアルタイム要求として
“有り”(値“1”)が記憶されており、かつ文章バッ
ファファイル名に対応する文章バッファファイルに認識
音声文章データが存在するエントリがあるか否かが判定
される。
【0225】そのようなエントリが無くステップ919
の判定がNOの場合には、ステップ920での認識音声
文章データの送信処理は実行されずに、ステップ921
及び922の処理に進む。
【0226】上述のようなエントリが1つ以上存在しス
テップ919の判定がYESの場合には、ステップ92
0で、該当するエントリ毎に、そのエントリに記憶され
ている“送信元IPアドレス”に向けて、そのエントリ
に記憶されている文章バッファファイル名に対応する文
章バッファファイル内の認識音声文章データが送信さ
れ、その送信された認識音声文章データが上記文章バッ
ファファイルから削除される。なお、削除時の文章バッ
ファファイルのサイズは、音声制御ホスト装置108が
管理するファイルシステムによって自動的に調整され
る。
【0227】上述のステップ920の処理の後又はステ
ップ919の判定がNOである場合に、ステップ921
が実行される。ここでは、処理端末登録テーブル(図1
3)のエントリのうち、リアルタイム要求として“有
り”(値“1”)が設定されており、かつ最終アクセス
時刻が現在時刻から一定時間前の時刻よりも更に前の時
刻であるエントリが検出され、そのエントリの内容が全
て削除される。
【0228】また、ステップ922で、上記エントリに
記憶されていた音声バッファファイル名に対応する音声
バッファファイル及び文章バッファファイル名に対応す
る文章バッファファイルが、音声制御ホスト装置108
が管理するファイルシステム上から削除される。
【0229】ステップ922の処理の後、再び図9のス
テップ901の判定処理に戻る。 <文音声認識部117の詳細動作>図14は、文音声認
識部117の機能ブロック図である。
【0230】この文音声認識部117は、前述したよう
に、図13に示される処理端末登録テーブルのエントリ
毎に、各エントリから特定される音声バッファファイル
に音声データが受信されていればそれに対して文音声認
識処理を実行し、その結果得られる認識音声文章データ
を上記各エントリに対応する文章バッファファイルに追
加書き込みする。
【0231】上述のエントリ毎の音声バッファファイル
からの音声データの読出しと文章バッファファイルへの
認識音声文章データの書込みは、図14の入出力制御部
1409が制御する。まず、この入出力制御部1409
の制御動作につき説明する。図15は、入出力制御部1
409が実行する制御動作を示す動作フローチャートで
ある。この動作フローチャートは、入出力制御部140
9を制御する特には図示しないプロセッサが、特には図
示しない制御プログラムを実行する動作として実現され
る。
【0232】まず、ステップ1501では、処理端末登
録テーブル(図13)において、音声バッファファイル
名に対応する音声バッファファイルに音声データが記憶
されているエントリが存在するか否かが判定される。
【0233】そのようなエントリが存在しステップ15
01の判定がYESならば、ステップ1502で、該当
するエントリ毎に、そのエントリに記憶されている“端
末識別コード”と、そのエントリに記憶されている音声
バッファファイル名に対応する音声バッファファイル上
の音声データとが、図14の入力バッファキュー140
1に書き込まれ、その音声データが音声バッファファイ
ルから削除される。
【0234】入力バッファキュー1401は、それがキ
ューイングしている音声データを、音声区間検出部14
02に順次流し込む機能を有する。音声区間検出部14
02以降に接続されている音声分析部1403、音素認
識部1404、単語認識部1406、及び文章認識部1
407は、データ処理パイプラインを形成しており、相
互に独立して、入力データを処理する機能を有する。ま
た、1402〜1407の各部分は、現在処理している
音声データに対応する“端末識別コード”(入力バッフ
ァキュー1401から入力される)を認識することがで
きる。従って、最終的に文章認識部1407から出力バ
ッファキュー1408へは、“端末識別コード”と認識
音声文章データとの組が出力されることになる。
【0235】ステップ1502の処理の後又はステップ
1501の判定がNOの場合には、ステップ1503
で、図14の出力バッファキュー1408に、“端末識
別コード”と認識音声文章データの組が得られているか
否かが判定される。
【0236】そのような組が得られておりステップ15
03の判定がYESならば、ステップ1504で、出力
バッファキュー1408内の組毎に、その組の“端末識
別コード”に対応する処理端末登録テーブルのエントリ
について、そのエントリに記憶されている文章バッファ
ファイル名に対応する文章バッファファイルに、出力バ
ッファキュー1408内の組の認識音声文章データが追
加書き込みされる。
【0237】ステップ1504の処理の後又はステップ
1503の判定がNOの場合には、再びステップ150
1の判定処理が実行される。以上のようにして文音声認
識部117は、流れ作業的に効率良く、複数の移動端末
101から要求された音声データに対する文音声認識処
理を実行することができる。
【0238】次に、文音声認識処理を実現するための1
402〜1407の各部分の機能につき、以下に説明す
る。なお、以下に説明する各方式は、例えば、文献「電
子・情報工学入門シリーズ2 音響・音声工学」(古井
著、近代科学社)第14章」を参照することにより、実
現することができる。
【0239】音声区間検出部1402は、入力バッファ
キュー1401から入力される音声データのサンプル時
系列について、音声が存在する区間を検出する。より具
体的には、音声区間検出部1402は、所定サンプル
(例えば8kHzサンプリングデータについて32乃至
256サンプル)ずつの平均パワー(電力)を計算し、
その平均パワーが所定の閾値を超えた状態が所定回数以
上連続して続く区間を、音声区間として検出する。これ
により、音声が存在しない区間で文音声が誤認識されて
しまうのを防ぐことができる。
【0240】音声分析部1403は、音声区間検出部1
402から出力される音声データについて、その特徴分
析を行うことによって、特徴量パラメータベクトルを検
出する。音声分析方式としては、以下の周知の分析方式
の何れかを採用することができる。 (1)音声データ時系列を入力とする帯域フィルタバン
クの各出力を平滑化し、それらの平滑化された各出力を
特徴量パラメータベクトルの要素とする方式。 (2)連続する所定サンプルずつの音声データ時系列を
入力とする高速フーリエ変換(FFT)によって計算し
た各短時間スペクトル成分を平滑化し、それらの平滑化
された各成分値を特徴量パラメータベクトルの要素とす
る方式。 (3)連続する所定サンプルずつの音声データ時系列を
入力とするケプストラム分析によってケプストラム係数
群を計算し、それらを特徴量パラメータベクトルの要素
とする方式。 (4)上記(3)のケプストラム係数群に加えて、それ
らに対するΔ(デルタ)ケプストラム(ケプストラムの
微係数)群を計算し、それらを特徴量パラメータベクト
ルの要素に加える方式。 (5)連続する所定サンプルずつの音声データ時系列を
入力とする線形予測分析(LPC分析、更に具体的には
線スペクトル対分析:LSP分析)によって、LPC
(LSP)係数群を計算し、それらを特徴量パラメータ
ベクトルの要素とする方式。 (6)連続する所定サンプルずつの音声データ時系列を
入力とする自己相関分析によって自己相関関数を計算
し、それらに基づいて検出される音声のピッチ基本周波
数パターンを特徴量パラメータベクトルの1つの要素に
加える方式。 次に、音素認識部1404は、所定フレーム周期(所定
サンプル)毎に音声分析部1403から出力される特徴
量パラメータベクトルと、音素標準パターン辞書140
5に蓄積されている各音素の特徴量パラメータベクトル
の標準パターンとの類似度(距離)を計算し、その結果
所定フレーム周期毎に得られる類似度の高い音素の組を
その類似度と共に音素ラティスデータとして出力する。
音素認識部1404は、音素の認識誤りの発生を回避す
るために、所定フレーム周期毎に最終的な音素を決定す
ることはせずに、音素候補を表にした音素ラティスデー
タの形式で結果データを出力する。
【0241】単語認識部1406は、所定フレーム周期
毎に音素認識部1404から出力される音素ラティスデ
ータを入力として、所定フレーム周期毎に単語候補を表
にして単語ラティスデータを出力する。単語認識方式と
しては、以下の周知の分析方式の何れかを採用すること
ができる。 (1)単語認識部1406は、音素認識部1404から
出力される複数のフレーム周期にまたがる音素ラティス
データの時系列と、単語辞書に蓄積されている全音素標
準パターン系列とで、時間正規化(DPマッチング or
DTW:DynamicTime Warping)を実行し、単語ラティ
スデータを出力する。この場合も、単語認識部1406
は、単語の認識誤りの発声を回避するために、所定フレ
ーム周期毎に最終的な単語を決定することはせずに、単
語候補を表にした単語ラティスデータの形式で結果デー
タを出力する。 (2)単語認識部1406は、HMM(Hidden Markov
Model )によって、全単語をモデル化し、音素認識部1
404から出力される複数のフレーム周期にまたがる音
素ラティスデータの時系列をHMM分析部に入力し、生
起確率の大きいものから複数個のモデルに対応する各単
語を、単語候補である単語ラティスデータとして出力す
る。最後に、文章認識部1407は、その第1段処理と
して、単語認識部1406から出力される単語ラティス
データを順次入力し、日本語(英語でもよい)の文節構
造に関する文節内文法(語順規則)に従って、種々の文
節の可能性を文節ラティスデータとして算出する。そし
て、文章認識部1407は、その第2段処理として、文
節間文法に従って文節間の意味的な係り受けを解析し、
認識音声文章データを決定し、それを、入力バッファキ
ュー1401から順次伝達されてきた“端末識別コー
ド”と対について、出力バッファキュー1408に書き
込む。 <他の実施の形態>以上説明した実施の形態では、移動
端末101は、PHS端末であって、移動端末101と
音声制御ホスト装置108とは、PHS網103とイン
ターネット105を介して接続されている。しかし、本
発明は、これに限られるものではなく、無線又は有線に
よって間接的又は直接的に音声制御ホスト装置108に
接続される形態であれば、どのような形態であっても本
発明をそれに適用することができる。
【0242】
【発明の効果】本発明によれば、移動端末は、高度な音
声認識環境を設備する必要がなく実用的な精度を有する
音声認識機能の提供を低コストで受けることが可能とな
る。
【0243】また、本発明によれば、現在全国的及び全
世界的に普及しつつあるパーソナルハンディホンシステ
ム通信網及びインターネットを経由することによって、
実用的な精度を有する音声認識機能の提供をより低コス
ト及び手軽に受けることができると同時に、本発明が提
供する機能とパーソナルハンディホンシステム通話機能
及びインターネットアクセス機能とを、シームレスに結
合することが可能となる。
【0244】更に、本発明のよれば、移動端末と音声制
御ホスト装置とを全世界的に容易に特定できると共に、
音声認識処理サービスと他の情報処理サービスとの共存
を容易に実現することが可能となる。
【0245】加えて、本発明によれば、ホスト装置側の
負荷分散を容易に実現することが可能となる。
【図面の簡単な説明】
【図1】全システム構成図である。
【図2】移動端末の外観図である。
【図3】移動端末の機能ブロック図である。
【図4】移動端末の処理の全体動作フローチャートであ
る。
【図5】送信処理の動作フローチャートである。
【図6】通信データのフォーマット図である。
【図7】IPヘッダとTCPヘッダのフォーマット図で
ある。
【図8】PPPを用いた発信処理の動作フローチャート
である。
【図9】移動端末通信制御部の動作フローチャート(そ
の1)である。
【図10】移動端末通信制御部の動作フローチャート
(その2)である。
【図11】移動端末通信制御部の動作フローチャート
(その3)である。
【図12】移動端末通信制御部の動作フローチャート
(その4)である。
【図13】処理端末登録テーブルのデータ構成図であ
る。
【図14】文音声認識部の構成図である。
【図15】入出力制御部の動作フローチャートである。
【符号の説明】
101 移動端末 102 無線基地(有線接続装置) 103 PHS網(公衆電話網、ISDN網) 104 移動端末制御ホスト装置 105 インターネット 106 ルータ装置 107 LAN(ローカルエリアネットワーク) 108 音声制御ホスト装置 109 入力部 110 制御部 111 通信部 112 出力部 113 接続確立部 114 ルーティング部 115 パケット送受信部 116 移動端末通信制御部 117 文音声認識部 201、301 マイク 202、304 カメラ(CCDカメラ) 203、311 LCD表示部 204、308 スピーカ 205、323 無線アンテナ 206、325 ソケット(通信用) 207 ICカードスロット 208 光送受信機(光通信用) 302、305 A/D変換部 303 マイク制御部 306、313 メモリ 307 カメラ制御部 309 D/A変換部 310 スピーカ制御部 312 LCDドライバ 314 LCD制御部 315 タッチパネル制御部 316 CPU 317 RAM 318 ROM 319 ICカードインタフェース部 320 ICカード 321 通信制御部 322 無線ドライバ 324 有線ドライバ 1401 入力バッファキュー 1402 音声区間検出部 1403 音声分析部 1404 音素認識部 1405 音素標準パターン辞書 1406 単語認識部 1407 文章認識部 1408 出力バッファキュー 1409 入出力制御部

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 移動端末がホスト装置と通信する通信シ
    ステムであって、前記移動端末内に、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記ホスト装置である音声制御ホスト装置に接続する
    ホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力
    手段から入力される音声データを前記音声制御ホスト装
    置に送信する音声データ送信手段と、 前記音声制御ホスト装置から返信される認識音声データ
    を受信する認識音声データ受信手段と、 該受信された認識音声データを表示又は編集する認識音
    声データ表示/編集手段と、 を含み、 前記音声制御ホスト装置内に、 前記移動端末内のホスト接続手段による接続動作に応答
    して、前記移動端末を識別して接続する移動端末接続手
    段と、 現在接続されている移動端末毎に、前記音声データを受
    信する音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信
    手段により受信された音声データに対して音声認識処理
    を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段に
    よる音声認識処理によって得られる認識音声データを、
    それに対応する移動端末に返信する認識音声データ返信
    手段と、 を含む、 ことを特徴とする移動端末音声認識通信システム。
  2. 【請求項2】 移動端末がホスト装置と通信する通信シ
    ステムに使用される前記移動端末であって、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記ホスト装置である音声制御ホスト装置に接続する
    ホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力
    手段から入力される音声データを前記音声制御ホスト装
    置に送信する音声データ送信手段と、 前記音声制御ホスト装置から返信される認識音声データ
    を受信する認識音声データ受信手段と、 該受信された認識音声データを表示又は編集する認識音
    声データ表示/編集手段と、 を含むことを特徴とする移動端末。
  3. 【請求項3】 移動端末がホスト装置と通信する通信シ
    ステムに使用される前記ホスト装置であって、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記移動端末が実行する接続動作に応答して、前記移
    動端末を識別して接続する移動端末接続手段と、 現在接続されている移動端末毎に、音声データを受信す
    る音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信
    手段により受信された音声データに対して音声認識処理
    を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段に
    よる音声認識処理によって得られる認識音声データを、
    それに対応する移動端末に返信する認識音声データ返信
    手段と、 を含むことを特徴とする音声制御ホスト装置。
  4. 【請求項4】 前記移動端末内のホスト接続手段は、前
    記音声制御ホスト装置に対して、認識音声データをリア
    ルタイム又は非リアルタイムに返信させるためのリアル
    タイム返信要求コマンド又は非リアルタイム返信要求コ
    マンドを選択的に送信する機能と、認識音声データを一
    括して転送させるための一括転送要求コマンドを送信す
    る機能とを含み、 前記認識音声データ返信手段は、現在接続されている移
    動端末毎に、前記移動端末接続手段が前記移動端末から
    前記リアルタイム返信要求コマンドを受信している場合
    には、それに対応して前記音声認識手段による音声認識
    処理によって得られる認識音声データをそれに対応する
    移動端末に即座に返信し、前記移動端末接続手段が前記
    移動端末から前記非リアルタイム返信要求コマンドを受
    信している場合には、それに対応して前記音声認識手段
    による音声認識処理によって得られる認識音声データを
    保持した後、前記移動端末接続手段が前記移動端末から
    前記一括転送要求コマンドを受信した時点で、それに対
    応して前記保持していた認識音声データをそれに対応す
    る移動端末に一括して返信する、 ことを特徴とする請求項1乃至3の何れか1項に記載の
    移動端末音声認識通信システム、移動端末、又は音声制
    御ホスト装置。
  5. 【請求項5】 前記移動端末は、パーソナルハンディホ
    ンシステム通信機能を備え、 前記中継網は、パーソナルハンディホンシステム通信網
    とインターネットを含み、 前記音声制御ホスト装置は、前記インターネットに接続
    し、 前記移動端末内のホスト接続手段は、前記パーソナルハ
    ンディホンシステム通信網を介して、該パーソナルハン
    ディホンシステム通信網を含む公衆網と前記インターネ
    ットとの間のゲートウエイ機能を有する移動端末制御ホ
    スト装置に発信し接続することによって、前記インター
    ネット上の通信プロトコルを使用して、前記移動端末制
    御ホスト装置から前記インターネットを介して前記音声
    制御ホスト装置に接続する、 ことを特徴とする請求項1乃至4の何れか1項に記載の
    移動端末音声認識通信システム、移動端末、又は音声制
    御ホスト装置。
  6. 【請求項6】 前記通信プロトコルは、インターネット
    プロトコル層及びトランスミッションコントロールプロ
    トコル層を含む階層プロトコルであって、 前記インターネット上を伝送される前記インターネット
    プロトコル層のパケットデータであるインターネットプ
    ロトコルデータグラムのヘッダフィールドには、前記イ
    ンターネット上での前記移動端末及び前記音声制御ホス
    ト装置のアドレスを指定する送信元インターネットプロ
    トコルアドレス及び宛先インターネットプロトコルアド
    レスが格納され、該インターネットプロトコルデータグ
    ラムのデータフィールドには、前記トランスミッション
    コントロールプロトコル層のパケットデータであるトラ
    ンスミッションコントロールプロトコルセグメントが格
    納され、 前記トランスミッションコントロールプロトコルセグメ
    ントのヘッダフィールドには、前記音声認識処理のため
    の通信プロトコルを特定する送信元ポート番号及び宛先
    ポート番号が格納され、該トランスミッションコントロ
    ールプロトコルセグメントのデータフィールドには、前
    記移動端末を識別するための端末識別コード、前記リア
    ルタイム返信要求コマンド、前記非リアルタイム返信要
    求コマンド、前記一括転送要求コマンド、前記音声デー
    タ、又は前記認識音声データが格納される、 ことを特徴とする請求項5に記載の移動端末音声認識通
    信システム、移動端末、又は音声制御ホスト装置。
  7. 【請求項7】 前記音声制御ホスト装置は、網によって
    相互に接続され、前記移動端末接続手段、前記音声デー
    タ受信手段、前記音声認識手段、及び前記認識音声デー
    タ返信手段に対応する機能を分散して実現する複数のホ
    ストコンピュータから構成される、 ことを特徴とする請求項1乃至6の何れか1項に記載の
    移動端末音声認識通信システム、移動端末、又は音声制
    御ホスト装置。
JP8274452A 1996-10-17 1996-10-17 移動端末音声認識通信システム Pending JPH10124291A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8274452A JPH10124291A (ja) 1996-10-17 1996-10-17 移動端末音声認識通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8274452A JPH10124291A (ja) 1996-10-17 1996-10-17 移動端末音声認識通信システム

Publications (1)

Publication Number Publication Date
JPH10124291A true JPH10124291A (ja) 1998-05-15

Family

ID=17541896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8274452A Pending JPH10124291A (ja) 1996-10-17 1996-10-17 移動端末音声認識通信システム

Country Status (1)

Country Link
JP (1) JPH10124291A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002528808A (ja) * 1998-10-21 2002-09-03 オープンティーブイ, インコーポレイテッド 遠隔サーバによって非テキスト情報をテキスト情報に変換するための双方向テレビシステムおよび方法
KR20030012064A (ko) * 2001-07-30 2003-02-12 와이더덴닷컴 주식회사 서버-씬 클라이언트 구성용 분산형 음성 인식 시스템
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
US7805145B2 (en) 2000-03-15 2010-09-28 Nec Corporation Information search system using radio portable terminal
JP2011175265A (ja) * 1998-05-25 2011-09-08 Nokia Corp ユーザの発話を認識するための方法及び装置
WO2019097794A1 (ja) * 2017-11-20 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175265A (ja) * 1998-05-25 2011-09-08 Nokia Corp ユーザの発話を認識するための方法及び装置
JP2015018276A (ja) * 1998-05-25 2015-01-29 ノキア コーポレイション ユーザの発話を認識するための方法及び装置
JP2002528808A (ja) * 1998-10-21 2002-09-03 オープンティーブイ, インコーポレイテッド 遠隔サーバによって非テキスト情報をテキスト情報に変換するための双方向テレビシステムおよび方法
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
US7805145B2 (en) 2000-03-15 2010-09-28 Nec Corporation Information search system using radio portable terminal
KR20030012064A (ko) * 2001-07-30 2003-02-12 와이더덴닷컴 주식회사 서버-씬 클라이언트 구성용 분산형 음성 인식 시스템
WO2019097794A1 (ja) * 2017-11-20 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
US11403230B2 (en) 2017-11-20 2022-08-02 Sony Corporation Information processing device and information processing method

Similar Documents

Publication Publication Date Title
JP3402100B2 (ja) 音声制御ホスト装置
JPH10133847A (ja) 移動端末音声認識/データベース検索/リソースアクセス通信システム
US6208959B1 (en) Mapping of digital data symbols onto one or more formant frequencies for transmission over a coded voice channel
US20020143551A1 (en) Unified client-server distributed architectures for spoken dialogue systems
US7382770B2 (en) Multi-modal content and automatic speech recognition in wireless telecommunication systems
US7003463B1 (en) System and method for providing network coordinated conversational services
EP1125279B1 (en) System and method for providing network coordinated conversational services
US20020138274A1 (en) Server based adaption of acoustic models for client-based speech systems
US20100135269A1 (en) Retrieving voice-based content in conjunction with wireless application protocol browsing
US20030120493A1 (en) Method and system for updating and customizing recognition vocabulary
US7392184B2 (en) Arrangement of speaker-independent speech recognition
JPH0823383A (ja) 通信システム
WO2001045086A2 (en) A system and method of voice browsing for mobile terminals using a dual-mode wireless connection
JP2003044091A (ja) 音声認識システム、携帯情報端末、音声情報処理装置、音声情報処理方法および音声情報処理プログラム
JP2001222294A (ja) 無線通信装置のためのユーザインターフェースに基づく音声認識
JPH11215248A (ja) 通信システムおよびこれに用いられる無線通信端末装置
WO2001099096A1 (fr) Systeme de communication a entree vocale, terminal d'utilisateur et systeme central
US20020077811A1 (en) Locally distributed speech recognition system and method of its opration
JPH10177469A (ja) 移動端末音声認識/データベース検索/リソースアクセス通信システム
CN111325039A (zh) 基于实时通话的语言翻译方法、***、程序和手持终端
JPH10126852A (ja) 移動端末音声認識/データベース検索通信システム
JPH10177468A (ja) 移動端末音声認識/データベース検索通信システム
JPH10124291A (ja) 移動端末音声認識通信システム
JPH10134047A (ja) 移動端末音声認識/議事録作成通信システム
JPH10190865A (ja) 移動端末音声認識/フォーマット文章作成システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060404