JPH08263258A - 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 - Google Patents
入力装置、入力方法、情報処理システムおよび入力情報の管理方法Info
- Publication number
- JPH08263258A JPH08263258A JP7064117A JP6411795A JPH08263258A JP H08263258 A JPH08263258 A JP H08263258A JP 7064117 A JP7064117 A JP 7064117A JP 6411795 A JP6411795 A JP 6411795A JP H08263258 A JPH08263258 A JP H08263258A
- Authority
- JP
- Japan
- Prior art keywords
- input
- information
- time
- recognition result
- semantic analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000010365 information processing Effects 0.000 title claims description 53
- 238000007726 management method Methods 0.000 title description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 150
- 238000012545 processing Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 description 87
- 230000006870 function Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
【目的】入力手順を考慮することなく、相互に関連する
情報を、複数の入力手段を介して任意のタイミングで入
力する。 【構成】各入力手段1〜3は、随時、入力を受け付け、
その認識結果に入力時刻を付して出力する。認識結果選
択部4は、認識結果を併合または分割し、分割により新
たに生成した認識結果についてはその入力時刻を推定し
て、入力時刻の近いものを意味解析単位としてまとめ
る。意味解析部5は、指示情報テーブル10を参照し
て、通知された意味解析単位を操作指示内容へ変換し、
コマンド生成部6は、制御情報テーブル11を参照して
該操作指示内容をコマンドに変換し、表示部7またはD
BMS部8へ発行する。
情報を、複数の入力手段を介して任意のタイミングで入
力する。 【構成】各入力手段1〜3は、随時、入力を受け付け、
その認識結果に入力時刻を付して出力する。認識結果選
択部4は、認識結果を併合または分割し、分割により新
たに生成した認識結果についてはその入力時刻を推定し
て、入力時刻の近いものを意味解析単位としてまとめ
る。意味解析部5は、指示情報テーブル10を参照し
て、通知された意味解析単位を操作指示内容へ変換し、
コマンド生成部6は、制御情報テーブル11を参照して
該操作指示内容をコマンドに変換し、表示部7またはD
BMS部8へ発行する。
Description
【0001】
【産業上の利用分野】本発明は、情報処理装置におけ
る、複数の入力手段を同時に使用した入力の管理方法、
およびそれを用いた入力信号解析装置に関する。
る、複数の入力手段を同時に使用した入力の管理方法、
およびそれを用いた入力信号解析装置に関する。
【0002】
【従来の技術】従来より、システムの操作を行なう場合
には、周知のグラフィカルユーザインタフェース(GU
I)技術に加え、自然言語インタフェースや音声入力イ
ンタフェース技術が知られている。例えば、自然言語イ
ンタフェースに関する技術には、谷らによる「自然言語
インタフェース構築キット:IF−Kit」(電子情報
通信学会技術報告,NLC−91−62,Vol.9
1,No.534,pp.25−32(1992))に
おいて、「入力された日本語文の解析結果である概念依
存構造から検索言語SQLを生成する。」と記されてい
る。また、音声入力インタフェースに関する技術には、
山本らによる「メニューに基づく音声自然言語入力シス
テム」(第47回情報処理学会全国大会講演論文集,3
−167)において、「メニューには自立語だけを表示
し、ユーザはこの自立語を自由に活用させ、さらに任意
の付属語系列を接続した文節単位での入力を音声で行
う」と記されている。
には、周知のグラフィカルユーザインタフェース(GU
I)技術に加え、自然言語インタフェースや音声入力イ
ンタフェース技術が知られている。例えば、自然言語イ
ンタフェースに関する技術には、谷らによる「自然言語
インタフェース構築キット:IF−Kit」(電子情報
通信学会技術報告,NLC−91−62,Vol.9
1,No.534,pp.25−32(1992))に
おいて、「入力された日本語文の解析結果である概念依
存構造から検索言語SQLを生成する。」と記されてい
る。また、音声入力インタフェースに関する技術には、
山本らによる「メニューに基づく音声自然言語入力シス
テム」(第47回情報処理学会全国大会講演論文集,3
−167)において、「メニューには自立語だけを表示
し、ユーザはこの自立語を自由に活用させ、さらに任意
の付属語系列を接続した文節単位での入力を音声で行
う」と記されている。
【0003】
【発明が解決しようとする課題】従来技術では、あるシ
ステムを操作するために、単一の入力系統から操作指示
命令が入力されている。例えば、従来の自然言語インタ
フェースでは、「A地区のホテルの電話番号を教えて下
さい。」と入力すると、対応するデータベースシステム
の命令が生成されるが、この際、入力の解析は、キーボ
ードなどの単一のインタフェースからの入力信号につい
て行われる。すなわち、従来の自然言語インタフェース
はGUIとシステム上共存しているが、両インタフェー
スからの入力信号を同一機会に受け付け、両方の入力信
号を考慮して解析しているわけではない。また、従来の
音声入力インタフェースにおいても、メニュー選択とい
うGUIと、音声入力インタフェースとを切り換えて、
いずれかからの入力のみを受け付け、解析するのであっ
て、両インタフェースからの入力信号を同一機会に受け
付け、その両方を考慮して解析してはいない。
ステムを操作するために、単一の入力系統から操作指示
命令が入力されている。例えば、従来の自然言語インタ
フェースでは、「A地区のホテルの電話番号を教えて下
さい。」と入力すると、対応するデータベースシステム
の命令が生成されるが、この際、入力の解析は、キーボ
ードなどの単一のインタフェースからの入力信号につい
て行われる。すなわち、従来の自然言語インタフェース
はGUIとシステム上共存しているが、両インタフェー
スからの入力信号を同一機会に受け付け、両方の入力信
号を考慮して解析しているわけではない。また、従来の
音声入力インタフェースにおいても、メニュー選択とい
うGUIと、音声入力インタフェースとを切り換えて、
いずれかからの入力のみを受け付け、解析するのであっ
て、両インタフェースからの入力信号を同一機会に受け
付け、その両方を考慮して解析してはいない。
【0004】そこで、本発明は、複数の入力手段から入
力された信号である入力情報をまとめて、入力内容を特
定する入力方法および入力情報管理方法と、それらの方
法を用いた入力装置と、該入力装置を備える情報処理シ
ステムとを提供することを目的とする。
力された信号である入力情報をまとめて、入力内容を特
定する入力方法および入力情報管理方法と、それらの方
法を用いた入力装置と、該入力装置を備える情報処理シ
ステムとを提供することを目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するた
め、本発明では、入力情報に該入力情報の入力時刻を付
し、複数の上記入力情報のうち、該入力情報の上記入力
時刻が近いものをまとめることにより、入力内容を特定
する入力方法が提供される。
め、本発明では、入力情報に該入力情報の入力時刻を付
し、複数の上記入力情報のうち、該入力情報の上記入力
時刻が近いものをまとめることにより、入力内容を特定
する入力方法が提供される。
【0006】さらに、本発明では、複数の入力手段を介
して受け付けた複数の入力情報の管理方法であって、入
力情報の入力時刻を認識するステップと、該入力情報
を、あらかじめ定められた解析最小単位になるように分
割または併合して認識結果とするステップと、認識結果
の入力時刻を、入力手段に応じてあらかじめ定められた
推定方法により推定するステップと、複数の入力情報の
うち、その入力情報の入力時刻が近いものをまとめて、
意味解析単位として管理するステップとを有する入力情
報の管理方法が提供される。
して受け付けた複数の入力情報の管理方法であって、入
力情報の入力時刻を認識するステップと、該入力情報
を、あらかじめ定められた解析最小単位になるように分
割または併合して認識結果とするステップと、認識結果
の入力時刻を、入力手段に応じてあらかじめ定められた
推定方法により推定するステップと、複数の入力情報の
うち、その入力情報の入力時刻が近いものをまとめて、
意味解析単位として管理するステップとを有する入力情
報の管理方法が提供される。
【0007】なお、入力手段のうちの少なくとも一部
が、入力情報とともに該入力情報の入力時刻を上記認識
結果選択部に通知する手段を備える場合は、入力時刻を
認識する手段は、入力時刻が通知されれば、その通知さ
れたものを入力時刻を認識し、通知されなければ、入力
情報の通知を受け付けた時刻を入力時刻として認識する
ようにしてもよい。また、入力手段に入力時刻を通知す
る手段がなければ、入力時刻を認識する手段は、入力情
報の通知を受け付けた時刻を、該入力情報の入力時刻と
して認識することが望ましい。
が、入力情報とともに該入力情報の入力時刻を上記認識
結果選択部に通知する手段を備える場合は、入力時刻を
認識する手段は、入力時刻が通知されれば、その通知さ
れたものを入力時刻を認識し、通知されなければ、入力
情報の通知を受け付けた時刻を入力時刻として認識する
ようにしてもよい。また、入力手段に入力時刻を通知す
る手段がなければ、入力時刻を認識する手段は、入力情
報の通知を受け付けた時刻を、該入力情報の入力時刻と
して認識することが望ましい。
【0008】また、上記入力時刻の推定は、例えば、分
割または併合のもととなった入力情報の入力時刻と、あ
らかじめ定められた推定入力速度とを基にして行うこと
ができる。あるいは、該推定方法として、入力操作に関
する情報、入力信号の強弱に関する情報、前記制御手段
に関する情報、および、前記制御対象機器に関する情報
の内、少なくとも一つ以上の情報から、入力時刻を推定
する方法を用いてもよい。
割または併合のもととなった入力情報の入力時刻と、あ
らかじめ定められた推定入力速度とを基にして行うこと
ができる。あるいは、該推定方法として、入力操作に関
する情報、入力信号の強弱に関する情報、前記制御手段
に関する情報、および、前記制御対象機器に関する情報
の内、少なくとも一つ以上の情報から、入力時刻を推定
する方法を用いてもよい。
【0009】上記複数の入力手段としては、例えば、音
声入力装置、タッチパネル、キーボード、マウス、視線
認識装置、および図形認識装置などを用いることができ
る。また、自然言語による入力を受け付けるようにして
もよい。自然言語による入力情報については、自然言語
の時間的属性に基づいて、入力時刻を推定することがで
きる。ここで、自然言語の時間的属性には、該自然言語
の入力操作に関する情報、文字列に関する情報、音声に
関する情報、形態素に関する情報、構文に関する情報、
前記制御手段に関する情報、または、前記制御対象機器
に関する情報などがある。また、自然言語による入力情
報の解析最小単位は、入力情報の段落、文、文節、単
語、形態素、および、音素のいずれかに基づいて決定す
ることができる。
声入力装置、タッチパネル、キーボード、マウス、視線
認識装置、および図形認識装置などを用いることができ
る。また、自然言語による入力を受け付けるようにして
もよい。自然言語による入力情報については、自然言語
の時間的属性に基づいて、入力時刻を推定することがで
きる。ここで、自然言語の時間的属性には、該自然言語
の入力操作に関する情報、文字列に関する情報、音声に
関する情報、形態素に関する情報、構文に関する情報、
前記制御手段に関する情報、または、前記制御対象機器
に関する情報などがある。また、自然言語による入力情
報の解析最小単位は、入力情報の段落、文、文節、単
語、形態素、および、音素のいずれかに基づいて決定す
ることができる。
【0010】さらに、本発明では、これらの方法を用い
た入力装置および情報処理システムが提供される。
た入力装置および情報処理システムが提供される。
【0011】
【作用】本発明では、記憶装置内に格納された認識結果
から適切な組合せの認識結果を取り出すべく、入力を行
なった時点の時間情報を付与して認識結果を格納してお
き、認識結果を取り出す際に、認識結果を入力した入力
装置に関する情報だけでなく、各認識結果の時間情報を
も考慮して(例えば、入力時刻の近いものを一纏めにし
て)取り出す。これにより、入力時刻や入力装置とは必
ずしも束縛されない指示情報の認識結果を単位として、
意味解析の前に一時的に記憶装置に蓄えられる。従っ
て、この記憶装置から認識結果を選択的に纏め直してか
ら意味解析を行なうことが可能である。複数の入力装置
からの非同期的に操作指示をユーザが入力しても、それ
らの複数の操作指示の相互作用的な機能や相補的な機能
を意味解析することが可能である。
から適切な組合せの認識結果を取り出すべく、入力を行
なった時点の時間情報を付与して認識結果を格納してお
き、認識結果を取り出す際に、認識結果を入力した入力
装置に関する情報だけでなく、各認識結果の時間情報を
も考慮して(例えば、入力時刻の近いものを一纏めにし
て)取り出す。これにより、入力時刻や入力装置とは必
ずしも束縛されない指示情報の認識結果を単位として、
意味解析の前に一時的に記憶装置に蓄えられる。従っ
て、この記憶装置から認識結果を選択的に纏め直してか
ら意味解析を行なうことが可能である。複数の入力装置
からの非同期的に操作指示をユーザが入力しても、それ
らの複数の操作指示の相互作用的な機能や相補的な機能
を意味解析することが可能である。
【0012】本発明による入力装置を利用するユーザ
は、複数のインタフェースを具備する入力装置または情
報処理システムに対して、それらのインタフェースをユ
ーザの自由意思で、時間的な排他的選択性を意識せず
に、非同期に(いわば思い付いたままに)操作指示を与
えることが可能になる。特に、日常的に使用している自
然言語(英語、日本語など)や、マウスやアイコンを利
用したGUIを同時に用いて入力を行う場合、それらを
組み合わせつつ、自然なタイミングで入力を行うことが
でき、例えばそれが操作指示であれば、形式言語(計算
機向けに決められた特別な形式のコマンド)に不慣れな
ユーザであっても自由に制御対象機器を動作させること
ができる。
は、複数のインタフェースを具備する入力装置または情
報処理システムに対して、それらのインタフェースをユ
ーザの自由意思で、時間的な排他的選択性を意識せず
に、非同期に(いわば思い付いたままに)操作指示を与
えることが可能になる。特に、日常的に使用している自
然言語(英語、日本語など)や、マウスやアイコンを利
用したGUIを同時に用いて入力を行う場合、それらを
組み合わせつつ、自然なタイミングで入力を行うことが
でき、例えばそれが操作指示であれば、形式言語(計算
機向けに決められた特別な形式のコマンド)に不慣れな
ユーザであっても自由に制御対象機器を動作させること
ができる。
【0013】以上のように、本発明によれば、ユーザが
複数のインタフェースを同時に(あるいは別個に)利用
したとしても、そこから入力された操作指示の内容を組
み合わせて解析し、その入力された内容を特定すること
ができるという顕著な効果を得ることができる。
複数のインタフェースを同時に(あるいは別個に)利用
したとしても、そこから入力された操作指示の内容を組
み合わせて解析し、その入力された内容を特定すること
ができるという顕著な効果を得ることができる。
【0014】
【実施例】以下、本実施例を図面を用いて詳細に説明す
る。本実施例は、本発明を、音声認識装置とタッチパネ
ルとキーボードとディスプレイとデータベースシステム
とを備える情報処理システムにおける、出力やデータベ
ースの検索/更新などの操作指示の入力に適用した場合
のものである。本実施例においては、ディスプレイやデ
ータベースシステムを制御対象機器と呼ぶ。
る。本実施例は、本発明を、音声認識装置とタッチパネ
ルとキーボードとディスプレイとデータベースシステム
とを備える情報処理システムにおける、出力やデータベ
ースの検索/更新などの操作指示の入力に適用した場合
のものである。本実施例においては、ディスプレイやデ
ータベースシステムを制御対象機器と呼ぶ。
【0015】本実施例を適用しない場合は、データベー
スシステムから何らかのデータを取り出す手段として、
音声入力、タッチパネル入力、および、キーボード入力
などの入力手段を介して入力された入力信号は、それぞ
れ別個に扱われ、受け付けられる情報の種類に応じて、
いずれの入力手段を介してその入力を受け付けるかがあ
らかじめ定められている。従って、ユーザは、データや
命令を入力するために、入力を行う入力手段を、所定の
手順で順次切り替えなければならない。また、自動的に
入力手段を切り替えるようにプログラムされたシステム
の場合、ユーザは、自動的に行われる入力手段の切り替
えに応じて、意図的に入力方法(音声や手の動作など)
を変更しなければならない。
スシステムから何らかのデータを取り出す手段として、
音声入力、タッチパネル入力、および、キーボード入力
などの入力手段を介して入力された入力信号は、それぞ
れ別個に扱われ、受け付けられる情報の種類に応じて、
いずれの入力手段を介してその入力を受け付けるかがあ
らかじめ定められている。従って、ユーザは、データや
命令を入力するために、入力を行う入力手段を、所定の
手順で順次切り替えなければならない。また、自動的に
入力手段を切り替えるようにプログラムされたシステム
の場合、ユーザは、自動的に行われる入力手段の切り替
えに応じて、意図的に入力方法(音声や手の動作など)
を変更しなければならない。
【0016】本実施例において、ユーザからの操作指示
とは、音声による自然言語文によって表される指示や、
タッチパネル上のあらかじめ定められた領域に対する接
触によって表わされる指示のことである。例えば、「こ
れを詳細に」と音声で発声しながら、タッチパネル上の
ある位置(例えば、X座標が12で、Y座標が23の位
置)に指で接触するといった入力などが、この操作指示
に含まれる。
とは、音声による自然言語文によって表される指示や、
タッチパネル上のあらかじめ定められた領域に対する接
触によって表わされる指示のことである。例えば、「こ
れを詳細に」と音声で発声しながら、タッチパネル上の
ある位置(例えば、X座標が12で、Y座標が23の位
置)に指で接触するといった入力などが、この操作指示
に含まれる。
【0017】A.情報処理システムの構成 (1)ハードウエア構成 図2に、本実施例の情報処理システム120のハードウ
ェア構成を示す。本実施例の情報処理システム120
は、プロセッサ14と、それに接続する主記憶装置9、
音声認識装置16、タッチパネル17、キーボード1
8、ディスプレイ19およびデータベースシステム13
と、音声認識装置16に接続された音声入力装置15と
を備える。本発明の、主記憶装置9およびプロセッサ1
4のハードウェアは、主記憶装置9に保持されたインス
トラクションを実行できる情報処理装置であれば、大型
の計算機に限らず、ワークステーション、パーソナルコ
ンピュータ、パーソナルデジタルアシスタント(PD
A)と呼ばれるものであっても良い。
ェア構成を示す。本実施例の情報処理システム120
は、プロセッサ14と、それに接続する主記憶装置9、
音声認識装置16、タッチパネル17、キーボード1
8、ディスプレイ19およびデータベースシステム13
と、音声認識装置16に接続された音声入力装置15と
を備える。本発明の、主記憶装置9およびプロセッサ1
4のハードウェアは、主記憶装置9に保持されたインス
トラクションを実行できる情報処理装置であれば、大型
の計算機に限らず、ワークステーション、パーソナルコ
ンピュータ、パーソナルデジタルアシスタント(PD
A)と呼ばれるものであっても良い。
【0018】各装置9,13〜19間の接続は、信号線
により実現される。信号線は有線であると無線であると
を問わないが、本実施例では、各装置は、通信用モデム
および通信回線を介して接続されている。通信用モデム
や通信回線、あるいはそれらを使用する上で必要な通信
規約(プロトコル)については、周知の技術を用いれば
良いので、本明細書においては詳細な説明を省く。
により実現される。信号線は有線であると無線であると
を問わないが、本実施例では、各装置は、通信用モデム
および通信回線を介して接続されている。通信用モデム
や通信回線、あるいはそれらを使用する上で必要な通信
規約(プロトコル)については、周知の技術を用いれば
良いので、本明細書においては詳細な説明を省く。
【0019】データベースシステム13は、情報処理装
置であり、独自に主記憶装置132と中央演算処理装置
(CPU)131と外部記憶装置133とを備える。外
部記憶装置133にはデータベースが保持されており、
主記憶装置132にあらかじめ保持されたインストラク
ションをCPU131が実行することにより、外部記憶
装置133に保持されたデータベースを管理するデータ
ベース管理システムが実現される。なお、データベース
システム13の外部記憶装置133にデータベースを保
持する代わりに、プロセッサ14と直接接続した外部記
憶装置を設け、ここにデータベースを保持してもよい。
さらに、データベース管理システムの全部または一部に
代えて、主記憶装置9に保持されたデータベース管理用
のプログラムをプロセッサ14が実行するようにしても
よい。
置であり、独自に主記憶装置132と中央演算処理装置
(CPU)131と外部記憶装置133とを備える。外
部記憶装置133にはデータベースが保持されており、
主記憶装置132にあらかじめ保持されたインストラク
ションをCPU131が実行することにより、外部記憶
装置133に保持されたデータベースを管理するデータ
ベース管理システムが実現される。なお、データベース
システム13の外部記憶装置133にデータベースを保
持する代わりに、プロセッサ14と直接接続した外部記
憶装置を設け、ここにデータベースを保持してもよい。
さらに、データベース管理システムの全部または一部に
代えて、主記憶装置9に保持されたデータベース管理用
のプログラムをプロセッサ14が実行するようにしても
よい。
【0020】また、音声入力装置15と音声認識装置1
6とが組み合わされて一装置となっていても構わない。
音声入力装置15として、本実施例ではマイクロホンを
用いているが、電話端末の受話器など、他の装置を用い
てもよい。さらに、音声認識装置16の全部または一部
に代えて、主記憶装置9に保持された音声認識用のプロ
グラムをプロセッサ14が実行するようにしてもよい。
6とが組み合わされて一装置となっていても構わない。
音声入力装置15として、本実施例ではマイクロホンを
用いているが、電話端末の受話器など、他の装置を用い
てもよい。さらに、音声認識装置16の全部または一部
に代えて、主記憶装置9に保持された音声認識用のプロ
グラムをプロセッサ14が実行するようにしてもよい。
【0021】本実施例では、入力機器として、音声入力
装置15、タッチパネル17、キーボード18を用いて
いるが、文字認識装置、マウス、自然言語フロントエン
ドプロセッサなど、他の入力機器を用いても良い。
装置15、タッチパネル17、キーボード18を用いて
いるが、文字認識装置、マウス、自然言語フロントエン
ドプロセッサなど、他の入力機器を用いても良い。
【0022】また、本実施例における制御対象機器は、
ディスプレイ19およびデータベースシステム13であ
るが、この他に、VTR(ビデオテープレコーダ)、音
声合成装置、意志決定支援システム、エキスパートシス
テム、オペレーティングシステム、スケジュール管理シ
ステム、アドレス管理システム、ゲームシステム、ナビ
ゲーションシステムなどを接続して、制御対象としても
良い。
ディスプレイ19およびデータベースシステム13であ
るが、この他に、VTR(ビデオテープレコーダ)、音
声合成装置、意志決定支援システム、エキスパートシス
テム、オペレーティングシステム、スケジュール管理シ
ステム、アドレス管理システム、ゲームシステム、ナビ
ゲーションシステムなどを接続して、制御対象としても
良い。
【0023】主記憶装置9は、記憶装置であり、操作指
示の解析に係るインストラクション群である処理プログ
ラムの記憶領域31と、処理プログラムの実行に際して
使用される一時的記憶領域であるワークエリア32と、
指示情報テーブル10と、制御情報テーブル11とを備
える。
示の解析に係るインストラクション群である処理プログ
ラムの記憶領域31と、処理プログラムの実行に際して
使用される一時的記憶領域であるワークエリア32と、
指示情報テーブル10と、制御情報テーブル11とを備
える。
【0024】プロセッサ14は、主記憶装置9の処理プ
ログラム記憶領域31に保持されたインストラクション
を解釈、実行する演算処理装置である。なお、本実施例
のプロセッサ14は、タイムシェアリングにより複数の
タスクを並行して実行することができる。
ログラム記憶領域31に保持されたインストラクション
を解釈、実行する演算処理装置である。なお、本実施例
のプロセッサ14は、タイムシェアリングにより複数の
タスクを並行して実行することができる。
【0025】(2)機能構成 図1に、本実施例における情報処理システム120の機
能ブロック図を示す。本実施例の情報処理システム12
0は、図1に示すように、入力手段群121と、出力手
段122と、情報処理手段123と、データベースシス
テム13とを備える。情報処理手段123は、認識結果
選択部4と、意味解析部5と、コマンド生成部6と、指
示情報テーブル10と、制御情報テーブル11と、ワー
クエリア32と、アプリケーションソフトウエア実行手
段(図示せず)とを備える。
能ブロック図を示す。本実施例の情報処理システム12
0は、図1に示すように、入力手段群121と、出力手
段122と、情報処理手段123と、データベースシス
テム13とを備える。情報処理手段123は、認識結果
選択部4と、意味解析部5と、コマンド生成部6と、指
示情報テーブル10と、制御情報テーブル11と、ワー
クエリア32と、アプリケーションソフトウエア実行手
段(図示せず)とを備える。
【0026】a.入力手段 入力手段群121は、入力を受け付けて、その結果と入
力を受け付けた時刻(以下、タイムスタンプと呼ぶ)と
を認識結果選択部4に出力する、複数の入力手段からな
り、音声認識部1と、タッチパネル部2と、キーボード
部3とを備える。
力を受け付けた時刻(以下、タイムスタンプと呼ぶ)と
を認識結果選択部4に出力する、複数の入力手段からな
り、音声認識部1と、タッチパネル部2と、キーボード
部3とを備える。
【0027】音声認識部1は、音声入力装置15と音声
認識装置16とにより実現される。音声入力装置15
は、マイクロホンを介して音声の入力を受け付けて音声
認識装置16に通知し、音声認識装置16は、通知され
た音声の信号を記号列に変換し、その結果と、その入力
のタイムスタンプとを認識結果選択部4に出力する。
認識装置16とにより実現される。音声入力装置15
は、マイクロホンを介して音声の入力を受け付けて音声
認識装置16に通知し、音声認識装置16は、通知され
た音声の信号を記号列に変換し、その結果と、その入力
のタイムスタンプとを認識結果選択部4に出力する。
【0028】タッチパネル部2は、タッチパネル17
と、該タッチパネル17への接触の始点、終点、軌跡情
報を抽出し、その結果と、その入力のタイムスタンプと
を認識結果選択部4に出力する接触信号処理部(図示せ
ず)とにより実現される。接触信号処理部は、処理プロ
グラム記憶領域31に保持されたインストラクションを
プロセッサ14が実行することにより実現される。
と、該タッチパネル17への接触の始点、終点、軌跡情
報を抽出し、その結果と、その入力のタイムスタンプと
を認識結果選択部4に出力する接触信号処理部(図示せ
ず)とにより実現される。接触信号処理部は、処理プロ
グラム記憶領域31に保持されたインストラクションを
プロセッサ14が実行することにより実現される。
【0029】キーボード部3は、キーボード18と、該
キーボード18のキーが押下されたことを検出し、その
結果と、その入力のタイムスタンプとを認識結果選択部
4に出力する押下信号処理部(図示せず)とにより実現
される。押下信号処理部は、処理プログラム記憶領域3
1に保持されたインストラクションをプロセッサ14が
実行することにより実現される。
キーボード18のキーが押下されたことを検出し、その
結果と、その入力のタイムスタンプとを認識結果選択部
4に出力する押下信号処理部(図示せず)とにより実現
される。押下信号処理部は、処理プログラム記憶領域3
1に保持されたインストラクションをプロセッサ14が
実行することにより実現される。
【0030】なお、入力を検出した時刻を正確に認識す
る機能のない入力手段を使用する場合、各認識結果を出
力する時刻や、認識結果選択部4が該認識結果を受け取
った時刻で、このタイムスタンプを代用するようにする
こともできる。また、認識結果毎のタイムスタンプが得
られない場合、ある認識結果の集合を一纏まりとして一
つの時刻で代表するようにしてもよい。これらのような
場合、認識結果選択部4でタイムスタンプを補正するこ
とが望ましい。この補正の方法については後述する。
る機能のない入力手段を使用する場合、各認識結果を出
力する時刻や、認識結果選択部4が該認識結果を受け取
った時刻で、このタイムスタンプを代用するようにする
こともできる。また、認識結果毎のタイムスタンプが得
られない場合、ある認識結果の集合を一纏まりとして一
つの時刻で代表するようにしてもよい。これらのような
場合、認識結果選択部4でタイムスタンプを補正するこ
とが望ましい。この補正の方法については後述する。
【0031】入力手段は、入力を受け付け、その内容を
出力する手段を備えていれば、本実施例に用いることが
できる。すなわち、音声認識装置、タッチパネル、キー
ボードは、市販の製品をそのまま、あるいは、それらを
多少改良した装置を使用して差し支えない。従って、こ
こでは、これらの入力および認識装置それ自体の詳細な
メカニズムの説明は省略する。本発明は、各入力および
認識装置は、これらを並列的・同時的に利用する場合の
方が、より効果的であるけれども、排他的・選択的に利
用しても差し支えない。
出力する手段を備えていれば、本実施例に用いることが
できる。すなわち、音声認識装置、タッチパネル、キー
ボードは、市販の製品をそのまま、あるいは、それらを
多少改良した装置を使用して差し支えない。従って、こ
こでは、これらの入力および認識装置それ自体の詳細な
メカニズムの説明は省略する。本発明は、各入力および
認識装置は、これらを並列的・同時的に利用する場合の
方が、より効果的であるけれども、排他的・選択的に利
用しても差し支えない。
【0032】b.制御対象 本実施例では、入力手段群121を介して受け付けられ
た操作指示に応じて、情報処理手段123のコマンド生
成部6が指示(コマンド)を発行し、制御対象機器であ
るディスプレイ19および/またはデータベースシステ
ム13を操作する。
た操作指示に応じて、情報処理手段123のコマンド生
成部6が指示(コマンド)を発行し、制御対象機器であ
るディスプレイ19および/またはデータベースシステ
ム13を操作する。
【0033】出力手段122は、コマンド生成部6から
の表示命令によってディスプレイ上に表示を行なう表示
部7を備える。表示部7は、ディスプレイ19と、該デ
ィスプレイ19に、コマンド生成部6から表示を指示さ
れた情報を出力する画像表示部(図示せず)とにより実
現される。画像表示部は、処理プログラム記憶領域31
に保持されたインストラクションをプロセッサ14が実
行することにより実現される。なお、画像表示部が表示
命令に従ってディスプレイ19に表示を行なう処理は周
知の技術を用いることで足りるため、ここでは説明しな
い。また、出力手段122に、プリンタなど、他の手段
を備えてもよい。
の表示命令によってディスプレイ上に表示を行なう表示
部7を備える。表示部7は、ディスプレイ19と、該デ
ィスプレイ19に、コマンド生成部6から表示を指示さ
れた情報を出力する画像表示部(図示せず)とにより実
現される。画像表示部は、処理プログラム記憶領域31
に保持されたインストラクションをプロセッサ14が実
行することにより実現される。なお、画像表示部が表示
命令に従ってディスプレイ19に表示を行なう処理は周
知の技術を用いることで足りるため、ここでは説明しな
い。また、出力手段122に、プリンタなど、他の手段
を備えてもよい。
【0034】データベースシステム13は、データベー
ス管理システム部8と、データベース12とを備える。
上述のように、データベース12はデータベースシステ
ム13の外部記憶装置133に備えられた記憶領域であ
る。また、データベース管理システム8は、データベー
スシステム13の主記憶装置132にあらかじめ保持さ
れたインストラクションをCPU131が実行すること
により実現される。データベース管理システム13は、
コマンド生成部6からの指示に応じて、データベース1
2に保持されたデータを更新/検索する。なお、データ
ベース12のデータ構造、および、データベース管理シ
ステム13の処理は、いずれも周知の技術を用いること
で足りるため、ここでは説明しない。
ス管理システム部8と、データベース12とを備える。
上述のように、データベース12はデータベースシステ
ム13の外部記憶装置133に備えられた記憶領域であ
る。また、データベース管理システム8は、データベー
スシステム13の主記憶装置132にあらかじめ保持さ
れたインストラクションをCPU131が実行すること
により実現される。データベース管理システム13は、
コマンド生成部6からの指示に応じて、データベース1
2に保持されたデータを更新/検索する。なお、データ
ベース12のデータ構造、および、データベース管理シ
ステム13の処理は、いずれも周知の技術を用いること
で足りるため、ここでは説明しない。
【0035】c.情報処理手段123 情報処理手段123の認識結果選択部4と意味解析部5
とコマンド生成部6とアプリケーションソフトウエア実
行手段(図示せず)とは、処理プログラム記憶領域31
に保持されたインストラクションをプロセッサ14が実
行することにより実現される。
とコマンド生成部6とアプリケーションソフトウエア実
行手段(図示せず)とは、処理プログラム記憶領域31
に保持されたインストラクションをプロセッサ14が実
行することにより実現される。
【0036】本実施例では、認識結果選択部4、意味解
析部5、コマンド生成部6、およびアプリケーションソ
フトウエア実行手段が、それぞれ、タイムシェアリング
可能なプロセッサ14によるインストラクションの実行
により実現される。そこで、各部4〜6およびアプリケ
ーションソフトウエア実行手段を、それぞれ独立したプ
ログラムにより実現してもよく、また、マルチプロセス
(マルチタスキング)の手法を用いて、情報処理手段1
23全体を一つのプログラムの実行により実現し、各部
4〜6を、そのプログラムに含まれるプロセスとして実
現してもよい。
析部5、コマンド生成部6、およびアプリケーションソ
フトウエア実行手段が、それぞれ、タイムシェアリング
可能なプロセッサ14によるインストラクションの実行
により実現される。そこで、各部4〜6およびアプリケ
ーションソフトウエア実行手段を、それぞれ独立したプ
ログラムにより実現してもよく、また、マルチプロセス
(マルチタスキング)の手法を用いて、情報処理手段1
23全体を一つのプログラムの実行により実現し、各部
4〜6を、そのプログラムに含まれるプロセスとして実
現してもよい。
【0037】また、本実施例では、同一のプロセッサ1
4により各部4〜6のインストラクションが実行される
が、計算機を複数備える分散システムとし、各部4〜6
をそれぞれ異なる計算機により実現してもよい。この場
合、計算機間の接続は、記憶媒体を介して機能的に接続
したものであってもよい。
4により各部4〜6のインストラクションが実行される
が、計算機を複数備える分散システムとし、各部4〜6
をそれぞれ異なる計算機により実現してもよい。この場
合、計算機間の接続は、記憶媒体を介して機能的に接続
したものであってもよい。
【0038】指示情報テーブル10、制御情報テーブル
11、およびワークエリア32は、主記憶装置9に備え
られた記憶領域である。ワークエリア32、指示情報テ
ーブル10や制御情報テーブル11は記憶・読み出しで
きれば、同一の記憶装置に備えられていなくてもよく、
複数の記憶装置を設け、これらの記憶領域を分散しても
よい。
11、およびワークエリア32は、主記憶装置9に備え
られた記憶領域である。ワークエリア32、指示情報テ
ーブル10や制御情報テーブル11は記憶・読み出しで
きれば、同一の記憶装置に備えられていなくてもよく、
複数の記憶装置を設け、これらの記憶領域を分散しても
よい。
【0039】認識結果選択部4は、入力手段群121か
ら通知された認識結果とタイムスタンプとのペア(以
下、認識情報と呼ぶ)を管理し、それらの情報やユーザ
からの選択に基づいて、該ペアを幾つかの組(以下で
は、この組のことを意味解析単位とも呼ぶ)に纏め、こ
の組毎に意味解析部5に通知する。各組は、単数または
複数の認識情報(認識結果とタイムスタンプとのペア)
で構成されている。
ら通知された認識結果とタイムスタンプとのペア(以
下、認識情報と呼ぶ)を管理し、それらの情報やユーザ
からの選択に基づいて、該ペアを幾つかの組(以下で
は、この組のことを意味解析単位とも呼ぶ)に纏め、こ
の組毎に意味解析部5に通知する。各組は、単数または
複数の認識情報(認識結果とタイムスタンプとのペア)
で構成されている。
【0040】もし、装置を安価にしたり、あるいは、高
速に処理したりする等の目的のために、認識結果選択部
4を有しない構成によって本発明を実施することも考え
られる。複数の認識情報をまとめずに、各認識情報をそ
れぞれ意味解析単位とみなすようにすれば、認識結果選
択部4を省略することができるからである。とはいえ、
並列的・同時的な認識結果を取り扱い、自然言語の処理
等の複雑な解析操作を行うシステムにおいては、認識結
果選択部4を備えることが望ましい。あらかじめ認識情
報をまとめておくことで、意味解析部5の処理の負担を
軽減できるからである。
速に処理したりする等の目的のために、認識結果選択部
4を有しない構成によって本発明を実施することも考え
られる。複数の認識情報をまとめずに、各認識情報をそ
れぞれ意味解析単位とみなすようにすれば、認識結果選
択部4を省略することができるからである。とはいえ、
並列的・同時的な認識結果を取り扱い、自然言語の処理
等の複雑な解析操作を行うシステムにおいては、認識結
果選択部4を備えることが望ましい。あらかじめ認識情
報をまとめておくことで、意味解析部5の処理の負担を
軽減できるからである。
【0041】意味解析部5は、認識結果選択部4から通
知された意味解析単位を受け付け、指示情報テーブル1
0に保持された情報に基づいてその意味を解析し、その
結果、制御に係る指示情報である意味解析結果をコマン
ド生成部6に出力する。
知された意味解析単位を受け付け、指示情報テーブル1
0に保持された情報に基づいてその意味を解析し、その
結果、制御に係る指示情報である意味解析結果をコマン
ド生成部6に出力する。
【0042】コマンド生成部6は、意味解析部5から通
知された意味解析結果を受け付け、制御情報テーブル1
1に保持された情報に基づいて、制御対象機器7,13
を制御する信号を生成し、該制御信号を、表示部7また
はデータベース管理システム部8に出力する。なお、以
下では、説明を分かり易くするために、コマンド生成部
6の出力する制御信号が、文字コードセットからなるシ
ーケンス(以下ではコマンド文字列とも呼ぶ)である場
合について説明するが、そうでない制御信号であっても
同様である。例えば、その制御信号が文字列と1対1対
応(または、1対多対応)で変換可能な制御システムで
あるならば、コマンド生成部6と制御対象機器との間に
信号変換処理を組み込めば良い。
知された意味解析結果を受け付け、制御情報テーブル1
1に保持された情報に基づいて、制御対象機器7,13
を制御する信号を生成し、該制御信号を、表示部7また
はデータベース管理システム部8に出力する。なお、以
下では、説明を分かり易くするために、コマンド生成部
6の出力する制御信号が、文字コードセットからなるシ
ーケンス(以下ではコマンド文字列とも呼ぶ)である場
合について説明するが、そうでない制御信号であっても
同様である。例えば、その制御信号が文字列と1対1対
応(または、1対多対応)で変換可能な制御システムで
あるならば、コマンド生成部6と制御対象機器との間に
信号変換処理を組み込めば良い。
【0043】指示情報テーブル10は、意味解析単位と
それに対応する操作指示内容との対応テーブルである。
制御情報テーブル11は、操作指示内容とコマンド文字
列との対応テーブルである。これらのテーブルの具体例
は後述する。いずれのテーブルも、高機能な意味解析や
コマンド生成を行なう場合は、単純な一段の変換ではな
く、多段階に変換する必要もでてくる場合がある。その
場合、各段階ごとにテーブルを用意しておいても構わな
い。単純な操作指示あるいは制限された操作状況におけ
る操作指示として解析する場合は、本実施例のように、
一段階だけでよい。
それに対応する操作指示内容との対応テーブルである。
制御情報テーブル11は、操作指示内容とコマンド文字
列との対応テーブルである。これらのテーブルの具体例
は後述する。いずれのテーブルも、高機能な意味解析や
コマンド生成を行なう場合は、単純な一段の変換ではな
く、多段階に変換する必要もでてくる場合がある。その
場合、各段階ごとにテーブルを用意しておいても構わな
い。単純な操作指示あるいは制限された操作状況におけ
る操作指示として解析する場合は、本実施例のように、
一段階だけでよい。
【0044】上記複数の認識結果から計算機内部の操作
対象モデルへ同定したり、認識結果からは明示的には得
られない情報を補填したりするといった高度な意味解析
に相当する機能も、この指示情報テーブル10を多段階
に利用することと本質的に同等である。例えば、機能連
鎖構造のような意味ネットワークを用いて意味ネットワ
ーク上を波及探索し意味表現を得るアルゴリズムである
場合、波及元のノードとそれに接続するリンクの属性や
条件を意味解析単位と捉えて記述し、また、波及先のノ
ードを操作指示内容と捉えて記述し、適宜情報を伝播で
きるように後述の変数記述や関数記述を用いて指示情報
テーブル10記述し、波及先のノードを改めて波及元の
ノードとして捉えて、該指示情報テーブル10を再度利
用することで波及探索のアルゴリズムは実現できる。
対象モデルへ同定したり、認識結果からは明示的には得
られない情報を補填したりするといった高度な意味解析
に相当する機能も、この指示情報テーブル10を多段階
に利用することと本質的に同等である。例えば、機能連
鎖構造のような意味ネットワークを用いて意味ネットワ
ーク上を波及探索し意味表現を得るアルゴリズムである
場合、波及元のノードとそれに接続するリンクの属性や
条件を意味解析単位と捉えて記述し、また、波及先のノ
ードを操作指示内容と捉えて記述し、適宜情報を伝播で
きるように後述の変数記述や関数記述を用いて指示情報
テーブル10記述し、波及先のノードを改めて波及元の
ノードとして捉えて、該指示情報テーブル10を再度利
用することで波及探索のアルゴリズムは実現できる。
【0045】アプリケーションソフトウェア実行手段
は、データの加工を行い、結果を表示部7に出力するた
めのアプリケーションソフトウェア(例えば、グラフ表
示ソフトウエア、表計算ソフトウエア、ワードプロセッ
サ、スプレッドシートなどと呼ばれている種のソフトウ
エア)を実行する手段である。なお、アプリケーション
ソフトウエア実行手段は、表示部7に備えられていても
よい。また、グラフ表示等が不要であれば、アプリケー
ションソフトウエア実行手段は、なくても構わない。
は、データの加工を行い、結果を表示部7に出力するた
めのアプリケーションソフトウェア(例えば、グラフ表
示ソフトウエア、表計算ソフトウエア、ワードプロセッ
サ、スプレッドシートなどと呼ばれている種のソフトウ
エア)を実行する手段である。なお、アプリケーション
ソフトウエア実行手段は、表示部7に備えられていても
よい。また、グラフ表示等が不要であれば、アプリケー
ションソフトウエア実行手段は、なくても構わない。
【0046】B.データ構造 (1)指示情報テーブル10 図3に、本実施例における指示情報テーブル10の具体
例を模式的に示す。指示情報テーブル10は、意味解析
単位ごとに、意味解析単位を示す情報があらかじめ保持
されている記憶領域20と、操作指示内容を示す情報が
保持されている記憶領域21とを備えるテーブルであ
る。具体的には、意味解析単位記憶領域20には、認識
結果とタイムスタンプのペアである認識情報のまとまり
(意味解析単位)があらかじめ保持されている。また、
操作指示内容記憶領域21には、該認識情報に対応する
操作指示機能、操作指示条件、および操作指示対象な
ど、コマンド生成部6で意味解析単位に対応したコマン
ドを作成する際に必要となる項目とその値(または、値
を導くための方法(関数など))が保持されている。操
作指示内容21における各項目とその値は、一部がなく
てもよいし、複数あってもよい。
例を模式的に示す。指示情報テーブル10は、意味解析
単位ごとに、意味解析単位を示す情報があらかじめ保持
されている記憶領域20と、操作指示内容を示す情報が
保持されている記憶領域21とを備えるテーブルであ
る。具体的には、意味解析単位記憶領域20には、認識
結果とタイムスタンプのペアである認識情報のまとまり
(意味解析単位)があらかじめ保持されている。また、
操作指示内容記憶領域21には、該認識情報に対応する
操作指示機能、操作指示条件、および操作指示対象な
ど、コマンド生成部6で意味解析単位に対応したコマン
ドを作成する際に必要となる項目とその値(または、値
を導くための方法(関数など))が保持されている。操
作指示内容21における各項目とその値は、一部がなく
てもよいし、複数あってもよい。
【0047】なお、指示情報テーブル10を複数回利用
することで、意味解析単位から徐々に操作指示内容へ変
換するようなアルゴリズムの場合、意味解析単位記憶領
域20および操作指示内容記憶領域21には、認識結果
やタイムスタンプや操作指示機能などが混在して保持さ
れていても構わない。というのは、指示情報テーブル1
0の目的は、意味解析部5において、意味解析単位から
操作指示内容に変換するための情報を提供することにあ
るからであり、その変換の途中でどのようなデータ形式
をとるか、あるいは、どのような情報や印(マーカ)を
一時的に付与(あるいは伝播)しておくかに応じて、図
3で示したもの以外にもいろいろなバリエーションが考
えられよう。とはいえ、説明を簡略にする都合上、本実
施例では、図3に示すように、指示情報テーブル10
は、意味解析単位記憶領域20に保持された意味解析単
位と、これに対応する操作指示内容(同じ行の操作指示
内容記憶領域21に保持されている)とで構成されてい
るものとして説明する。
することで、意味解析単位から徐々に操作指示内容へ変
換するようなアルゴリズムの場合、意味解析単位記憶領
域20および操作指示内容記憶領域21には、認識結果
やタイムスタンプや操作指示機能などが混在して保持さ
れていても構わない。というのは、指示情報テーブル1
0の目的は、意味解析部5において、意味解析単位から
操作指示内容に変換するための情報を提供することにあ
るからであり、その変換の途中でどのようなデータ形式
をとるか、あるいは、どのような情報や印(マーカ)を
一時的に付与(あるいは伝播)しておくかに応じて、図
3で示したもの以外にもいろいろなバリエーションが考
えられよう。とはいえ、説明を簡略にする都合上、本実
施例では、図3に示すように、指示情報テーブル10
は、意味解析単位記憶領域20に保持された意味解析単
位と、これに対応する操作指示内容(同じ行の操作指示
内容記憶領域21に保持されている)とで構成されてい
るものとして説明する。
【0048】図3に示した指示情報テーブル10は、第
1行目の意味解析単位記憶領域20に、音声認識結果
「これを詳細に」とそのタイムスタンプ「14時25分
33秒」のペア(認識情報)、および、タッチパネル認
識結果「(12(X座標),23(Y座標))」とその
タイムスタンプ「14時25分31秒」のペア(認識情
報)という2つの認識情報からなる意味解析単位を保持
しており、同じ行の操作指示内容記憶領域21には、こ
れらの認識情報に対応して、操作指示機能「表示」と操
作条件「詳細」と操作対象「WORK_TABLE_2」(「WORK_T
ABLE_2」は識別子名)とからなる操作指示内容が格納さ
れている。これらの対応関係は、予め用意しておくこと
が望ましい。
1行目の意味解析単位記憶領域20に、音声認識結果
「これを詳細に」とそのタイムスタンプ「14時25分
33秒」のペア(認識情報)、および、タッチパネル認
識結果「(12(X座標),23(Y座標))」とその
タイムスタンプ「14時25分31秒」のペア(認識情
報)という2つの認識情報からなる意味解析単位を保持
しており、同じ行の操作指示内容記憶領域21には、こ
れらの認識情報に対応して、操作指示機能「表示」と操
作条件「詳細」と操作対象「WORK_TABLE_2」(「WORK_T
ABLE_2」は識別子名)とからなる操作指示内容が格納さ
れている。これらの対応関係は、予め用意しておくこと
が望ましい。
【0049】また、記憶される意味解析単位には、具体
的な値((12,23)など)を記述してもよいし、こ
れらの値を自由変数あるいは定義域を持つ変数として記
述したり、これらの変数を用いて意味解析単位20内の
他のペアの値に対して相対的な制限を付加すべく、式
(例えば、「T<S+4」)を追加的に記述したり、あ
るいは、該変数を用いて操作指示内容21側に記述すべ
き値(例えば、「WORK_TABLE_2」)を関数として記述し
ても良い。
的な値((12,23)など)を記述してもよいし、こ
れらの値を自由変数あるいは定義域を持つ変数として記
述したり、これらの変数を用いて意味解析単位20内の
他のペアの値に対して相対的な制限を付加すべく、式
(例えば、「T<S+4」)を追加的に記述したり、あ
るいは、該変数を用いて操作指示内容21側に記述すべ
き値(例えば、「WORK_TABLE_2」)を関数として記述し
ても良い。
【0050】例えば、意味解析単位20における「12
(X座標)」の代わりに変数Xを、「23(Y座標)」
の代わりに変数Yを記述し、操作指示内容21における
操作対象「WORK_TABLE_2」のかわりに関数table_ID(X,
Y)(この関数は、変数Xと変数Yを引数とし、返り値
として(例えば、座標(X,Y)にある)テーブルの識
別子名を返す関数とする)を記述してもよい。このよう
な場合、指示情報テーブル10を参照する処理は、指示
情報テーブル10の各項目への単純な文字列照合以外
に、変数や関数をインタプリトする必要があるけれど
も、その代わり記述すべき指示情報テーブル10を量を
大幅に減らすことができる場合がある。この参照時に、
数字や変数や関数などのトークンを区別あるいは照合
(例えば、数値「12」と変数Xとをマッチングするな
ど)し、対応する措置(例えば、変数Xに数値「12」
を割り当てるなど)を講じる技術や、関数記述から実際
の処理プログラムを適用し、その結果の値を返す技術な
どは、インタプリタやコンパイラなど周知の技術の全部
または一部を利用することが可能であり、ここでは説明
しない。
(X座標)」の代わりに変数Xを、「23(Y座標)」
の代わりに変数Yを記述し、操作指示内容21における
操作対象「WORK_TABLE_2」のかわりに関数table_ID(X,
Y)(この関数は、変数Xと変数Yを引数とし、返り値
として(例えば、座標(X,Y)にある)テーブルの識
別子名を返す関数とする)を記述してもよい。このよう
な場合、指示情報テーブル10を参照する処理は、指示
情報テーブル10の各項目への単純な文字列照合以外
に、変数や関数をインタプリトする必要があるけれど
も、その代わり記述すべき指示情報テーブル10を量を
大幅に減らすことができる場合がある。この参照時に、
数字や変数や関数などのトークンを区別あるいは照合
(例えば、数値「12」と変数Xとをマッチングするな
ど)し、対応する措置(例えば、変数Xに数値「12」
を割り当てるなど)を講じる技術や、関数記述から実際
の処理プログラムを適用し、その結果の値を返す技術な
どは、インタプリタやコンパイラなど周知の技術の全部
または一部を利用することが可能であり、ここでは説明
しない。
【0051】これらの変数や式や関数を駆使した具体的
な例を、図3の第2レコード(第2行目に保持されたレ
コード)に示す。音声認識結果「これを」とそのタイム
スタンプ「変数S」のペア、音声認識結果「詳細に」と
そのタイムスタンプ「変数T(但し、T<S+4)」、
および、タッチパネル認識結果「(変数X,変数Y)」
とそのタイムスタンプ「変数U(但し、|U−S|<
2)」のペアという3つの認識情報からなる意味解析単
位が2行目の意味解析単位記憶領域20保持されてお
り、これに対応して、2行目の操作指示内容記憶領域2
1には、操作指示機能「表示」と操作条件「詳細」と操
作対象「table_ID(X,Y)」とからなる操作指示内容が
予め格納されている。このように変数や制限式、関数を
使うことで、予め決定しておくことが困難な値あるいは
比較的に厳密なマッチングを必要としない値(例えば、
入力時刻の「14時25分33秒」)であっても、指示
情報テーブル10に所定の意味解析単位と操作指示内容
を記述しておくことができる。以下では、「マッチン
グ」を、「一致」とも表現することがある。
な例を、図3の第2レコード(第2行目に保持されたレ
コード)に示す。音声認識結果「これを」とそのタイム
スタンプ「変数S」のペア、音声認識結果「詳細に」と
そのタイムスタンプ「変数T(但し、T<S+4)」、
および、タッチパネル認識結果「(変数X,変数Y)」
とそのタイムスタンプ「変数U(但し、|U−S|<
2)」のペアという3つの認識情報からなる意味解析単
位が2行目の意味解析単位記憶領域20保持されてお
り、これに対応して、2行目の操作指示内容記憶領域2
1には、操作指示機能「表示」と操作条件「詳細」と操
作対象「table_ID(X,Y)」とからなる操作指示内容が
予め格納されている。このように変数や制限式、関数を
使うことで、予め決定しておくことが困難な値あるいは
比較的に厳密なマッチングを必要としない値(例えば、
入力時刻の「14時25分33秒」)であっても、指示
情報テーブル10に所定の意味解析単位と操作指示内容
を記述しておくことができる。以下では、「マッチン
グ」を、「一致」とも表現することがある。
【0052】なお、ここでは、変数や関数などの記述の
前に符号(例えば、図3では「@」)を付与しておき、
明示的に他の記述と区別することで、記述上あるいは処
理上の便宜を図るが、このような符号の付加は不可欠で
はない。
前に符号(例えば、図3では「@」)を付与しておき、
明示的に他の記述と区別することで、記述上あるいは処
理上の便宜を図るが、このような符号の付加は不可欠で
はない。
【0053】(2)制御情報テーブル11 図4に、本実施例における制御情報テーブル11の具体
例を模式的に示す。制御情報テーブル11は、操作指示
内容ごとに、操作指示内容の記憶領域22とコマンド文
字列の記憶領域23とを備えるテーブルである。
例を模式的に示す。制御情報テーブル11は、操作指示
内容ごとに、操作指示内容の記憶領域22とコマンド文
字列の記憶領域23とを備えるテーブルである。
【0054】制御情報テーブル11の目的は、コマンド
生成部6において操作指示内容からコマンド文字列を変
換するために必要となる情報を提供することにあるの
で、その変換の途中でどのようなデータ形式をとるか、
あるいは、どのような情報や印(マーカ)を一時的に付
与(あるいは伝播)しておくかなどによって、いろいろ
なバリエーションが考えられよう。とはいえ、説明を簡
略にする都合上、本実施例では図4に示すように制御情
報テーブル11は、操作指示内容記憶領域22とコマン
ド文字列記憶領域23とで構成されているものとして説
明する。
生成部6において操作指示内容からコマンド文字列を変
換するために必要となる情報を提供することにあるの
で、その変換の途中でどのようなデータ形式をとるか、
あるいは、どのような情報や印(マーカ)を一時的に付
与(あるいは伝播)しておくかなどによって、いろいろ
なバリエーションが考えられよう。とはいえ、説明を簡
略にする都合上、本実施例では図4に示すように制御情
報テーブル11は、操作指示内容記憶領域22とコマン
ド文字列記憶領域23とで構成されているものとして説
明する。
【0055】図3に図示された第1レコード(第1行目
に保持されたレコード)の具体例を説明すると、第1レ
コードの操作指示内容(操作指示内容記憶領域22に保
持された情報)は、操作指示機能「表示」と操作条件
「詳細」と操作対象「@A」という記述からなる。これ
に対応して、1行目のコマンド文字列記憶領域23に
は、「Display -detail @A」というコマンド文字列が
保持されている。
に保持されたレコード)の具体例を説明すると、第1レ
コードの操作指示内容(操作指示内容記憶領域22に保
持された情報)は、操作指示機能「表示」と操作条件
「詳細」と操作対象「@A」という記述からなる。これ
に対応して、1行目のコマンド文字列記憶領域23に
は、「Display -detail @A」というコマンド文字列が
保持されている。
【0056】制御情報テーブル11における各項目の記
述も、指示情報テーブル10と同様に変数や関数を含ん
だ記述を用いても構わない。この場合、コマンド文字列
23のことを、特に「コマンドテンプレート」と呼ぶ。
述も、指示情報テーブル10と同様に変数や関数を含ん
だ記述を用いても構わない。この場合、コマンド文字列
23のことを、特に「コマンドテンプレート」と呼ぶ。
【0057】意味解析部5とコマンド生成部6の処理方
式が、それぞれ指示情報テーブル10および制御情報テ
ーブル11を参照することによる単純な変換処理である
場合には、指示情報テーブル10の操作指示内容記憶領
域21に保持された情報と、制御情報テーブル11の操
作指示内容記憶領域22に保持された情報とを同一のも
のとみなして、(同一項目がある場合にはその組合せに
注意して)一つのテーブルにしても良い。しかし、通
常、指示情報テーブル10では、異なる意味解析単位が
同一の操作指示内容に対応する場合が多いので、記憶資
源の消費という観点からは必ずしも有効ではない。
式が、それぞれ指示情報テーブル10および制御情報テ
ーブル11を参照することによる単純な変換処理である
場合には、指示情報テーブル10の操作指示内容記憶領
域21に保持された情報と、制御情報テーブル11の操
作指示内容記憶領域22に保持された情報とを同一のも
のとみなして、(同一項目がある場合にはその組合せに
注意して)一つのテーブルにしても良い。しかし、通
常、指示情報テーブル10では、異なる意味解析単位が
同一の操作指示内容に対応する場合が多いので、記憶資
源の消費という観点からは必ずしも有効ではない。
【0058】また、説明の都合上、操作指示内容および
操作指示内容の記述は可読な文字列を用いているが、本
実施例の主たる目的では計算機内部で処理することがで
きれば良いので、実装上は、「A001」のような単な
る識別記号であったり、記憶資源上の所在を示すポイン
タであったりしても良い。
操作指示内容の記述は可読な文字列を用いているが、本
実施例の主たる目的では計算機内部で処理することがで
きれば良いので、実装上は、「A001」のような単な
る識別記号であったり、記憶資源上の所在を示すポイン
タであったりしても良い。
【0059】C.処理内容 (1)認識結果選択部4の処理 本実施例の解析システム120において、入力手段群が
入力を受け付け、受け付けた入力情報とタイムスタンプ
とを、情報処理手段123の認識結果選択部4に通知す
ると、通知を受け付けた認識結果選択部4が起動され
る。図5に、本実施例における認識結果選択部4の処理
の概要を示す。
入力を受け付け、受け付けた入力情報とタイムスタンプ
とを、情報処理手段123の認識結果選択部4に通知す
ると、通知を受け付けた認識結果選択部4が起動され
る。図5に、本実施例における認識結果選択部4の処理
の概要を示す。
【0060】(1−1)ステップ41 認識情報の通知を受け付けた認識結果選択部4は、最初
に、各入力手段から出力された認識結果(入力情報)と
タイムスタンプとをペアにして、ワークエリア32に格
納する(ステップ41)。なお、もし、各入力手段1〜
3が認識結果を出力する際に、合わせてタイムスタンプ
をも通知する機能を備えていない場合には、認識結果選
択部4が、入力手段からの通知を受理した時刻をタイム
スタンプとして通知された認識結果に付与し、認識情報
のペアを作成しても構わない。
に、各入力手段から出力された認識結果(入力情報)と
タイムスタンプとをペアにして、ワークエリア32に格
納する(ステップ41)。なお、もし、各入力手段1〜
3が認識結果を出力する際に、合わせてタイムスタンプ
をも通知する機能を備えていない場合には、認識結果選
択部4が、入力手段からの通知を受理した時刻をタイム
スタンプとして通知された認識結果に付与し、認識情報
のペアを作成しても構わない。
【0061】複数の入力手段からの通知は、非同期に行
われる。従って、本ステップ41は、他の処理を実行中
にも随時入力を受け付けることができることが望まし
い。そこで、本実施例では、各入力手段から認識情報が
通知されると、認識結果選択部4に割込み処理が発生す
る。この割込み処理において、認識結果選択部4は、主
記憶装置9にあらかじめ確保された記憶領域であるバッ
ファ領域(図示せず)に、受け付けた認識情報を蓄え
る。本ステップ41の実行において、認識結果選択部4
は、このバッファ領域蓄えられた未処理の認識情報を一
つ取り出して処理対象とする。このようにすることで、
本実施例では、複数の入力手段からの通知を随時受け付
け、順次処理することができる。
われる。従って、本ステップ41は、他の処理を実行中
にも随時入力を受け付けることができることが望まし
い。そこで、本実施例では、各入力手段から認識情報が
通知されると、認識結果選択部4に割込み処理が発生す
る。この割込み処理において、認識結果選択部4は、主
記憶装置9にあらかじめ確保された記憶領域であるバッ
ファ領域(図示せず)に、受け付けた認識情報を蓄え
る。本ステップ41の実行において、認識結果選択部4
は、このバッファ領域蓄えられた未処理の認識情報を一
つ取り出して処理対象とする。このようにすることで、
本実施例では、複数の入力手段からの通知を随時受け付
け、順次処理することができる。
【0062】(1−2)ステップ42 次に、認識結果選択部4は、ワークエリア32に保持さ
れた認識情報(認識結果とタイムスタンプとのペア)の
内、認識結果を所定の方法で分割または併合し、元の認
識結果をワークエリア32から除き、必要があれば分割
により生成した新たな認識結果のタイムスタンプを所定
の推定方式で推定し、新たな認識結果とタイムスタンプ
とを認識情報として改めてワークエリア32に格納す
る。この処理は、分割可能あるいは併合可能な認識結果
がワークエリア32内になくなるまで繰り返される(ス
テップ42)。
れた認識情報(認識結果とタイムスタンプとのペア)の
内、認識結果を所定の方法で分割または併合し、元の認
識結果をワークエリア32から除き、必要があれば分割
により生成した新たな認識結果のタイムスタンプを所定
の推定方式で推定し、新たな認識結果とタイムスタンプ
とを認識情報として改めてワークエリア32に格納す
る。この処理は、分割可能あるいは併合可能な認識結果
がワークエリア32内になくなるまで繰り返される(ス
テップ42)。
【0063】分割した認識結果とペアにするタイムスタ
ンプは、分割する前の認識情報に含まれていたタイムス
タンプと同一の値でも良いが、分割後の新たな認識結果
を正確に処理するためには、分割前の認識情報のタイム
スタンプと認識結果の態様とに基づいて新たに決定した
値とすることが望ましい。
ンプは、分割する前の認識情報に含まれていたタイムス
タンプと同一の値でも良いが、分割後の新たな認識結果
を正確に処理するためには、分割前の認識情報のタイム
スタンプと認識結果の態様とに基づいて新たに決定した
値とすることが望ましい。
【0064】所定の分割・併合方法としては、「認識結
果が自然言語文である場合は、形態素解析と構文解析を
用いて、処理後の認識結果が単文節になるように、分割
または併合する」という方法などを予め用意しておく。
ここで、形態素解析や構文解析の方法には、当業者によ
って周知の日本語解析処理や英語解析処理で用いられて
いる処理を用いて構わない。
果が自然言語文である場合は、形態素解析と構文解析を
用いて、処理後の認識結果が単文節になるように、分割
または併合する」という方法などを予め用意しておく。
ここで、形態素解析や構文解析の方法には、当業者によ
って周知の日本語解析処理や英語解析処理で用いられて
いる処理を用いて構わない。
【0065】例えば、「こ」という認識結果と「れを」
という認識結果とがワークエリア32に保持されている
場合、認識結果選択部4は、上記の分割・併合方法によ
って、「これを」に併合され、併合後の認識情報には、
「こ」と「れを」との両者のタイムスタンプのうち、遅
い方がタイムスタンプとして付される。従って、ワーク
エリア32から、「こ」という認識結果を含む認識情報
と、「れを」という認識結果を含む認識情報とは削除さ
れ、「これを」という認識結果に「れを」のタイムスタ
ンプが付与された認識情報が、ワークエリア32に格納
される。
という認識結果とがワークエリア32に保持されている
場合、認識結果選択部4は、上記の分割・併合方法によ
って、「これを」に併合され、併合後の認識情報には、
「こ」と「れを」との両者のタイムスタンプのうち、遅
い方がタイムスタンプとして付される。従って、ワーク
エリア32から、「こ」という認識結果を含む認識情報
と、「れを」という認識結果を含む認識情報とは削除さ
れ、「これを」という認識結果に「れを」のタイムスタ
ンプが付与された認識情報が、ワークエリア32に格納
される。
【0066】また、例えば、認識結果が「これを詳細
に」であれば、この認識結果は、上記の分割・併合方法
によって、「これを」と、「詳細に」とに分割される。
従って、ワークエリア32から、「これを詳細に」とい
う認識結果を含む認識情報は削除され、「これを」とい
う認識結果に推定されたタイムスタンプを付与された認
識情報と、「詳細に」という認識結果に「これを詳細
に」のタイムスタンプが付与された認識情報とが、ワー
クエリア32に格納される。
に」であれば、この認識結果は、上記の分割・併合方法
によって、「これを」と、「詳細に」とに分割される。
従って、ワークエリア32から、「これを詳細に」とい
う認識結果を含む認識情報は削除され、「これを」とい
う認識結果に推定されたタイムスタンプを付与された認
識情報と、「詳細に」という認識結果に「これを詳細
に」のタイムスタンプが付与された認識情報とが、ワー
クエリア32に格納される。
【0067】この他の分割・併合方法としては、イメー
ジスキャナから一括して入力した文字のイメージデータ
を画像認識装置により1文字づつ分割したり、あるいは
文節に併合したり、音声信号の強弱の変化を利用して発
声の纏まりを作るべく分割または併合したり、キーボー
ドやタッチパネルによる連続的な操作(ダブルクリック
に続く移動操作など)をそれぞれの単位的な操作に分割
したり、連続的に変化する情報については、その変位量
に応じて分割または併合したりする場合などがある。
ジスキャナから一括して入力した文字のイメージデータ
を画像認識装置により1文字づつ分割したり、あるいは
文節に併合したり、音声信号の強弱の変化を利用して発
声の纏まりを作るべく分割または併合したり、キーボー
ドやタッチパネルによる連続的な操作(ダブルクリック
に続く移動操作など)をそれぞれの単位的な操作に分割
したり、連続的に変化する情報については、その変位量
に応じて分割または併合したりする場合などがある。
【0068】入力装置からの時間的に半順序的な分割方
法に限らず、時間的には同時的な信号を分割してもよ
い。例えば、音声と音(例えば、拍手や、物と物とがぶ
つかる音など)と音楽が同時にマイクロホンから入力さ
れた時、それぞれ別の認識結果として分割(または分
別)したり、テレビカメラを入力装置として用いた場合
に、一つの画像データから人の表情と動作を別々に分割
(または抽出)してもよい。
法に限らず、時間的には同時的な信号を分割してもよ
い。例えば、音声と音(例えば、拍手や、物と物とがぶ
つかる音など)と音楽が同時にマイクロホンから入力さ
れた時、それぞれ別の認識結果として分割(または分
別)したり、テレビカメラを入力装置として用いた場合
に、一つの画像データから人の表情と動作を別々に分割
(または抽出)してもよい。
【0069】分割後の認識結果に対応するタイムスタン
プを推定する方法は、元のタイムスタンプと、元の認識
結果の態様から得られる情報の内、少なくともいずれか
一方に基づいて推定を行なう。本実施例では、あらかじ
め文字の入力速度を推定しておき、この推定された入力
速度(本実施例では1文字/秒)を基に、分割前の入力
終了時刻(分割前の認識情報のタイムスタンプ)から、
分割により新たに生成された認識結果の入力終了時刻を
推定する方法がある。
プを推定する方法は、元のタイムスタンプと、元の認識
結果の態様から得られる情報の内、少なくともいずれか
一方に基づいて推定を行なう。本実施例では、あらかじ
め文字の入力速度を推定しておき、この推定された入力
速度(本実施例では1文字/秒)を基に、分割前の入力
終了時刻(分割前の認識情報のタイムスタンプ)から、
分割により新たに生成された認識結果の入力終了時刻を
推定する方法がある。
【0070】推定される入力速度を、例えば1文字/秒
とすると、認識結果の1文字が1秒に換算される。この
推定方法を利用する場合を、先程の例の続きで説明する
と、認識結果「これを」に対応するタイムスタンプの値
は、元のタイムスタンプ(今の例では「14時25分3
3秒」)と、元に認識結果の態様から得られる情報(例
えば、「詳細に」の文字数が3文字であるなど)とか
ら、元のタイムスタンプの値の3秒前の値、すなわち、
「14時25分30秒」と推定される。
とすると、認識結果の1文字が1秒に換算される。この
推定方法を利用する場合を、先程の例の続きで説明する
と、認識結果「これを」に対応するタイムスタンプの値
は、元のタイムスタンプ(今の例では「14時25分3
3秒」)と、元に認識結果の態様から得られる情報(例
えば、「詳細に」の文字数が3文字であるなど)とか
ら、元のタイムスタンプの値の3秒前の値、すなわち、
「14時25分30秒」と推定される。
【0071】この他のタイムスタンプ推定方法として
は、入力手段が音声認識装置やキーボードや手書き文字
入力装置である場合は、それぞれ、元の認識結果を構成
する音素の数量やキータッチ数や筆画数など(あるいは
これらの構成要素を複数利用することによって)に基づ
いて、分割後のタイムスタンプを推定する方法などがあ
るので、これらの方法を用いても良い。
は、入力手段が音声認識装置やキーボードや手書き文字
入力装置である場合は、それぞれ、元の認識結果を構成
する音素の数量やキータッチ数や筆画数など(あるいは
これらの構成要素を複数利用することによって)に基づ
いて、分割後のタイムスタンプを推定する方法などがあ
るので、これらの方法を用いても良い。
【0072】認識結果の分割の最小単位は、指示情報テ
ーブル10の意味解析単位記憶領域20にあらかじめ保
持されている内容に対応する。本実施例では、自然言語
の文字列や音声は概ね文節を最小単位とし、タッチパネ
ルからの位置情報は、座標(すなわち、X座標とY座標
のペア)を最小単位として説明するが、これ以外の単位
(例えば、発音記号、全角文字列、文、ポインティング
の軌跡など)であっても、同様に本発明の処理が適用で
きることは、以下の詳細な説明および明細書から容易に
類推できるであろう。
ーブル10の意味解析単位記憶領域20にあらかじめ保
持されている内容に対応する。本実施例では、自然言語
の文字列や音声は概ね文節を最小単位とし、タッチパネ
ルからの位置情報は、座標(すなわち、X座標とY座標
のペア)を最小単位として説明するが、これ以外の単位
(例えば、発音記号、全角文字列、文、ポインティング
の軌跡など)であっても、同様に本発明の処理が適用で
きることは、以下の詳細な説明および明細書から容易に
類推できるであろう。
【0073】このようにして、認識結果の各部分のタイ
ムスタンプを推定することによって、複数の入力手段か
らの認識結果が同一の操作対象を指している場合、その
照応同定の精度が向上する。すなわち、今の例では、
「これを」が「14時25分30秒」であるのに対し、
タッチパネルを触った時刻が「14時25分31秒」で
あることに基づいて、「これを」の操作対象が座標(1
2,23)付近のデータを指示していると考えられる。
ムスタンプを推定することによって、複数の入力手段か
らの認識結果が同一の操作対象を指している場合、その
照応同定の精度が向上する。すなわち、今の例では、
「これを」が「14時25分30秒」であるのに対し、
タッチパネルを触った時刻が「14時25分31秒」で
あることに基づいて、「これを」の操作対象が座標(1
2,23)付近のデータを指示していると考えられる。
【0074】従来技術では正確な認識が困難な入力の例
として、「これをここに」という入力について考える。
入力結果の分割を行わない場合、「これを」に該当する
情報および「ここに」と、それぞれ他の入力手段から得
られた認識結果との照合を、精度よく行うことは困難で
ある。
として、「これをここに」という入力について考える。
入力結果の分割を行わない場合、「これを」に該当する
情報および「ここに」と、それぞれ他の入力手段から得
られた認識結果との照合を、精度よく行うことは困難で
ある。
【0075】しかし、本実施例では、入力を受け付けた
認識結果(入力情報)「これをここに」を分割し、分割
されて新たに生成した認識結果である「これを」および
「ここに」に、それぞれ適切に補正されたタイムスタン
プを付すので、これらの認識結果と、「これを」により
指示される情報および「ここに」によい指示される情報
として他の入力手段から得られる認識結果との照合を精
度よく行うことができる。
認識結果(入力情報)「これをここに」を分割し、分割
されて新たに生成した認識結果である「これを」および
「ここに」に、それぞれ適切に補正されたタイムスタン
プを付すので、これらの認識結果と、「これを」により
指示される情報および「ここに」によい指示される情報
として他の入力手段から得られる認識結果との照合を精
度よく行うことができる。
【0076】本実施例では、上述した認識結果の分割お
よび入力時刻の推定は、各入力手段1〜3のいずれの認
識結果に対しても行われる。例えば、認識結果選択部4
は、タッチパネル部2により受け付けられた認識結果に
ついても、タッチパネル17への接触の軌跡(例えば、
座標の列(12,23),(13,25),(14,2
8)など)に含まれるそれぞれの座標ごとにタイムスタ
ンプを推定し、付与する。これによって、「これを」に
対応する座標、「ここに」に対応する座標を適切に決定
するすることができるようになる。
よび入力時刻の推定は、各入力手段1〜3のいずれの認
識結果に対しても行われる。例えば、認識結果選択部4
は、タッチパネル部2により受け付けられた認識結果に
ついても、タッチパネル17への接触の軌跡(例えば、
座標の列(12,23),(13,25),(14,2
8)など)に含まれるそれぞれの座標ごとにタイムスタ
ンプを推定し、付与する。これによって、「これを」に
対応する座標、「ここに」に対応する座標を適切に決定
するすることができるようになる。
【0077】なお、入力手段から得られた認識結果が順
序性を失うことなく複数のより小さな認識結果に分割可
能な場合は、タイムスタンプの割当てはその順序性を反
映して付与することが望ましい。特に、複数の入力手段
から得られた複数の認識結果をそれぞれ順序性を反映し
て付与することで、認識結果のそれぞれの小さな分割後
の認識結果どうしが対応づけやすくなるからである。複
数の入力データの分割を時刻順に並べた時に、順に対応
する可能性が強いという性質を「非交叉性」と呼ぶ。非
交叉性が効果的に反映する入力例としては、音声で「こ
れとこれ」と入力し、指で座標(12,23)を指示し
次に座標(13,25)を指示したことで得られる軌跡
を入力した場合、音声の前半の「これ」は後半の「こ
れ」よりもタイムスタンプが早く、座標(12,23)
は座標(13,25)よりもタイムスタンプが早くなる
ようにタイムスタンプを決定(または補正)することに
よって、それぞれ前半どうし、後半どうしが後の意味解
析部5で同一の対象として処理しやすくなる。
序性を失うことなく複数のより小さな認識結果に分割可
能な場合は、タイムスタンプの割当てはその順序性を反
映して付与することが望ましい。特に、複数の入力手段
から得られた複数の認識結果をそれぞれ順序性を反映し
て付与することで、認識結果のそれぞれの小さな分割後
の認識結果どうしが対応づけやすくなるからである。複
数の入力データの分割を時刻順に並べた時に、順に対応
する可能性が強いという性質を「非交叉性」と呼ぶ。非
交叉性が効果的に反映する入力例としては、音声で「こ
れとこれ」と入力し、指で座標(12,23)を指示し
次に座標(13,25)を指示したことで得られる軌跡
を入力した場合、音声の前半の「これ」は後半の「こ
れ」よりもタイムスタンプが早く、座標(12,23)
は座標(13,25)よりもタイムスタンプが早くなる
ようにタイムスタンプを決定(または補正)することに
よって、それぞれ前半どうし、後半どうしが後の意味解
析部5で同一の対象として処理しやすくなる。
【0078】(1−3)ステップ43 次に、認識結果選択部4は、ワークエリア32に格納さ
れた認識情報が、所定の判断基準により意味解析単位と
して処理すべきか否か判断する(ステップ43)。意味
解析単位として処理すべきであると判断すれば、認識結
果選択部4は処理をステップ44に進め、そうでなけれ
ば、処理をステップ41へ戻す。
れた認識情報が、所定の判断基準により意味解析単位と
して処理すべきか否か判断する(ステップ43)。意味
解析単位として処理すべきであると判断すれば、認識結
果選択部4は処理をステップ44に進め、そうでなけれ
ば、処理をステップ41へ戻す。
【0079】この判断基準は、具体的には、ワークエリ
ア32に所定の量のデータが蓄えられたことや、ある入
力手段からの認識結果が到着した(または、途絶えた)
ことや、入力が途絶えて所定の時間(例えば、実行時間
として5秒)が経過したことや、ある特定のキー(リタ
ーンキーなど)が押下されたこと、あるいは、それらの
組合せ的な事象(イベント)などである。これらを契機
として、認識結果選択部4は、ステップ44以降の処理
を実行する。
ア32に所定の量のデータが蓄えられたことや、ある入
力手段からの認識結果が到着した(または、途絶えた)
ことや、入力が途絶えて所定の時間(例えば、実行時間
として5秒)が経過したことや、ある特定のキー(リタ
ーンキーなど)が押下されたこと、あるいは、それらの
組合せ的な事象(イベント)などである。これらを契機
として、認識結果選択部4は、ステップ44以降の処理
を実行する。
【0080】プログラムとして実現する場合、このイベ
ントは、ウィンドウシステム等で一般に用いられている
(マウスをクリックする等の)事象駆動信号をそのまま
利用して実装しても構わず、何ら特別なものである必要
はない。なお、ステップ42は、ステップ43の後で行
なっても構わない。
ントは、ウィンドウシステム等で一般に用いられている
(マウスをクリックする等の)事象駆動信号をそのまま
利用して実装しても構わず、何ら特別なものである必要
はない。なお、ステップ42は、ステップ43の後で行
なっても構わない。
【0081】(1−4)ステップ44 次に、認識結果選択部4は、ワークエリア32に保持さ
れた認識情報を意味解析単位ごとに纏め、この意味解析
単位ごとに、その内容を意味解析部5に出力する(ステ
ップ44)。
れた認識情報を意味解析単位ごとに纏め、この意味解析
単位ごとに、その内容を意味解析部5に出力する(ステ
ップ44)。
【0082】なお、この意味解析単位は、ただ1つの認
識情報から構成されても構わない。纏めるための基準と
しては、例えば、各認識情報におけるタイムスタンプが
同一の値あるいは、その差が所定の値(例えば、5秒)
以内であるときに、それらの認識情報を同一の意味解析
単位にする。あるいは、選択すべき組の候補をユーザに
提示し、ユーザからの選択指示に基づいて意味解析単位
にする。あるいは、同一の入力手段から出力されたもの
どうしを同一の意味解析単位にする。あるいは、これら
の選択基準を複合した基準を用いて、意味解析単位とす
る。
識情報から構成されても構わない。纏めるための基準と
しては、例えば、各認識情報におけるタイムスタンプが
同一の値あるいは、その差が所定の値(例えば、5秒)
以内であるときに、それらの認識情報を同一の意味解析
単位にする。あるいは、選択すべき組の候補をユーザに
提示し、ユーザからの選択指示に基づいて意味解析単位
にする。あるいは、同一の入力手段から出力されたもの
どうしを同一の意味解析単位にする。あるいは、これら
の選択基準を複合した基準を用いて、意味解析単位とす
る。
【0083】1つの意味解析単位を出力する毎に、残り
の意味解析単位を無視しても構わない。あるいは、残り
の意味解析単位を再び認識結果とタイムスタンプのペア
に戻してワークエリア32に格納しなおし、次の意味解
析単位を得るために改めてステップ41から実行し直し
ても構わない。再び利用する場合、ステップ42からス
テップ44を実行中に到着してワークエリア32に格納
されていた新たな認識結果とタイムスタンプとのペアと
マージしても良く、この場合、ステップ43における経
過時刻(上記例では5秒)を計るタイマによる割込み
が、他に組み合わすべきペアを受理しない内にステップ
44へ分岐してしまっても、再度ワークエリア32に戻
されるので、遅着したペアと意味解析単位を構成するこ
とができるという長所が有る。また、変化したシステム
の状況に応じて、ワークエリア32内の認識結果を操作
(あるいは変形)しても構わない。
の意味解析単位を無視しても構わない。あるいは、残り
の意味解析単位を再び認識結果とタイムスタンプのペア
に戻してワークエリア32に格納しなおし、次の意味解
析単位を得るために改めてステップ41から実行し直し
ても構わない。再び利用する場合、ステップ42からス
テップ44を実行中に到着してワークエリア32に格納
されていた新たな認識結果とタイムスタンプとのペアと
マージしても良く、この場合、ステップ43における経
過時刻(上記例では5秒)を計るタイマによる割込み
が、他に組み合わすべきペアを受理しない内にステップ
44へ分岐してしまっても、再度ワークエリア32に戻
されるので、遅着したペアと意味解析単位を構成するこ
とができるという長所が有る。また、変化したシステム
の状況に応じて、ワークエリア32内の認識結果を操作
(あるいは変形)しても構わない。
【0084】(2)意味解析部5の処理 図6に、本実施例における意味解析部5の処理の概要を
示す。ステップ44において認識結果選択部4が意味解
析単位の情報を通知すると、その通知を受けて意味解析
部5が起動される。
示す。ステップ44において認識結果選択部4が意味解
析単位の情報を通知すると、その通知を受けて意味解析
部5が起動される。
【0085】(2−1)ステップ51 意味解析部5は、最初に、指示情報テーブル10のレコ
ード(意味解析単位と操作指示内容とからなる)のう
ち、認識結果選択部4から通知された意味解析単位に、
意味解析単位記憶領域20に保持されている意味解析単
位の全部が一致するもの、一部が一致するもの、また
は、関連するものなど少なくとも1つ以上を選択し、そ
れらのうち、最も優先順位の高いものを決定する(ステ
ップ51)。一部が一致した場合、不一致であった部分
を一致させるべく、さらに別の意味解析単位を探すこと
を繰返しても良い。
ード(意味解析単位と操作指示内容とからなる)のう
ち、認識結果選択部4から通知された意味解析単位に、
意味解析単位記憶領域20に保持されている意味解析単
位の全部が一致するもの、一部が一致するもの、また
は、関連するものなど少なくとも1つ以上を選択し、そ
れらのうち、最も優先順位の高いものを決定する(ステ
ップ51)。一部が一致した場合、不一致であった部分
を一致させるべく、さらに別の意味解析単位を探すこと
を繰返しても良い。
【0086】ここで、一致を行なうアルゴリズムは、簡
易には、意味解析単位の記述が文字列として一致するか
否か検査すれば良い。より複雑な場合として、指示情報
テーブル10内において変数記述やマクロ記述(別名記
述)や一致範囲記述や関数記述などを行なう場合、それ
ぞれ記述に応じて適切な知識を予め用意しておくととも
に、ステップ51の一致を検査する前に(あるいは、ス
テップ51に応じて逐次的に)、変数記述やマクロ記述
などを解析しておく必要がある。
易には、意味解析単位の記述が文字列として一致するか
否か検査すれば良い。より複雑な場合として、指示情報
テーブル10内において変数記述やマクロ記述(別名記
述)や一致範囲記述や関数記述などを行なう場合、それ
ぞれ記述に応じて適切な知識を予め用意しておくととも
に、ステップ51の一致を検査する前に(あるいは、ス
テップ51に応じて逐次的に)、変数記述やマクロ記述
などを解析しておく必要がある。
【0087】とはいえ、この記述に関する知識や解析
は、周知のインタプリタなどで良く利用されている程度
の機能を有するもので構わない。例えば、変数記述「@
X」に対して「12」という数字が一致することができ
たり、マクロ記述「@近称」に対して「これを」という
文字列が一致することができたり、一致範囲記述「@2
0〜30」に対して(その間の数字であるところの)
「23」という数字が一致することができたり、関数記
述「@今日」に対して(実際の今日の日付に応じて)
「8月26日」という文字列が一致することができたり
する。そこで、意味解析部5は、これらの一致を判定で
きさえすれば良い。ここで記号「@」で始まる記述は、
変数記述やマクロ記述を説明の都合上、区別するために
付与しているが、実際の処理では、別の記号(または、
構文)でも良いし、また、付与しなくとも良い。
は、周知のインタプリタなどで良く利用されている程度
の機能を有するもので構わない。例えば、変数記述「@
X」に対して「12」という数字が一致することができ
たり、マクロ記述「@近称」に対して「これを」という
文字列が一致することができたり、一致範囲記述「@2
0〜30」に対して(その間の数字であるところの)
「23」という数字が一致することができたり、関数記
述「@今日」に対して(実際の今日の日付に応じて)
「8月26日」という文字列が一致することができたり
する。そこで、意味解析部5は、これらの一致を判定で
きさえすれば良い。ここで記号「@」で始まる記述は、
変数記述やマクロ記述を説明の都合上、区別するために
付与しているが、実際の処理では、別の記号(または、
構文)でも良いし、また、付与しなくとも良い。
【0088】一致する度合いや関連する度合いとして、
本実施例では、一致または関連の程度に応じて得点付け
することで、意味解析結果の解の候補に対して優先順位
を付ける。なお、複数の解の候補が存在する場合、この
優先順位などに基づいて、外部(ユーザ)に解の正誤を
問いあわせる(確認あるいは、選択を受け付ける)ステ
ップを、本実施例に加えることで、意味解析結果の信頼
性を高めても良い。
本実施例では、一致または関連の程度に応じて得点付け
することで、意味解析結果の解の候補に対して優先順位
を付ける。なお、複数の解の候補が存在する場合、この
優先順位などに基づいて、外部(ユーザ)に解の正誤を
問いあわせる(確認あるいは、選択を受け付ける)ステ
ップを、本実施例に加えることで、意味解析結果の信頼
性を高めても良い。
【0089】さらに、意味解析単位記憶領域20に保持
される記述に、意味解析単位に含まれる認識情報間に介
在する制限を記述しても良い。例えば、「それぞれのタ
イムスタンプ間が5秒以内である」に相当する関係式
や、「(ある特定の)タイムスタンプの値の近さ」に応
じて一致する度合いの得点が変わるファジィ関数のよう
な制限を記述し、これを利用して、一致するか否か、ど
の程度一致するかを判定して良い。
される記述に、意味解析単位に含まれる認識情報間に介
在する制限を記述しても良い。例えば、「それぞれのタ
イムスタンプ間が5秒以内である」に相当する関係式
や、「(ある特定の)タイムスタンプの値の近さ」に応
じて一致する度合いの得点が変わるファジィ関数のよう
な制限を記述し、これを利用して、一致するか否か、ど
の程度一致するかを判定して良い。
【0090】(2−2)ステップ52 次に、ステップ52において、ステップ51で決定され
た最も優先順位の高いレコードの操作指示内容記憶領域
21に保持された操作指示内容を、コマンド生成部6に
出力する。
た最も優先順位の高いレコードの操作指示内容記憶領域
21に保持された操作指示内容を、コマンド生成部6に
出力する。
【0091】なお、本実施例では、意味解析単位記憶領
域20に保持された情報に変数記述が使われているとき
は、操作指示内容記憶領域21内で変数の値を参照する
ことができる。例えば、座標の認識結果に関し、指示情
報テーブル10の各レコードのうちに、意味解析単位記
憶領域20に変数「@X」と変数「@Y」とを含むもの
があり、変数「@X」が「12」、変数「@Y」が「2
3」に一致していたときには、操作指示内容の通知は、
該変数を参照する記述「@X」を値「12」として、
「@Y」を「23」として行われる。さらに、関数記述
と併用することで、「@表示物(@X,@Y)」は「@
表示物(12,23)」として扱われる。また、本実施
例では、予め別に定義しておいたた関数(今の例では、
「@表示物」)を呼びだすことにより操作指示内容の構
成要素の具体的データ(処理対象が第1レコードであっ
て、関数「@表示物」が呼び出された場合は、操作指示
対象「WORK_TABLE_2」)を得ることができる。ステップ
51の時と同様に、このような変数や関数の扱いも周知
のインタプリタで用いられているのと同様の技術で容易
に実現可能である。
域20に保持された情報に変数記述が使われているとき
は、操作指示内容記憶領域21内で変数の値を参照する
ことができる。例えば、座標の認識結果に関し、指示情
報テーブル10の各レコードのうちに、意味解析単位記
憶領域20に変数「@X」と変数「@Y」とを含むもの
があり、変数「@X」が「12」、変数「@Y」が「2
3」に一致していたときには、操作指示内容の通知は、
該変数を参照する記述「@X」を値「12」として、
「@Y」を「23」として行われる。さらに、関数記述
と併用することで、「@表示物(@X,@Y)」は「@
表示物(12,23)」として扱われる。また、本実施
例では、予め別に定義しておいたた関数(今の例では、
「@表示物」)を呼びだすことにより操作指示内容の構
成要素の具体的データ(処理対象が第1レコードであっ
て、関数「@表示物」が呼び出された場合は、操作指示
対象「WORK_TABLE_2」)を得ることができる。ステップ
51の時と同様に、このような変数や関数の扱いも周知
のインタプリタで用いられているのと同様の技術で容易
に実現可能である。
【0092】(3)コマンド生成部6の処理 図7に、本実施例におけるコマンド生成部6の処理の概
要を示す。ステップ52において意味解析部5が操作指
示内容の情報を通知すると、その通知を受けてコマンド
生成部6が起動される。
要を示す。ステップ52において意味解析部5が操作指
示内容の情報を通知すると、その通知を受けてコマンド
生成部6が起動される。
【0093】(3−1)ステップ61 コマンド生成部6は、最初に、制御情報テーブル11に
格納されたレコードのうちから、意味解析部5から出力
された操作指示内容に、操作指示内容記憶領域22に保
持された情報の全部が一致するもの、または、一部が一
致するもの、または、関連するものなど少なくとも1つ
以上を選択し、それらのうち、最も優先順位の高いレコ
ードを決定する(ステップ61)。
格納されたレコードのうちから、意味解析部5から出力
された操作指示内容に、操作指示内容記憶領域22に保
持された情報の全部が一致するもの、または、一部が一
致するもの、または、関連するものなど少なくとも1つ
以上を選択し、それらのうち、最も優先順位の高いレコ
ードを決定する(ステップ61)。
【0094】(3−2)ステップ62 次に、コマンド生成部6は、ステップ61で決定された
レコードのコマンド文字列記憶領域23に保持された情
報を、表示部7またはデータベースシステム部8に出力
する(ステップ62)。出力の宛先は、出力するコマン
ド文字列の内容に応じて決定される。
レコードのコマンド文字列記憶領域23に保持された情
報を、表示部7またはデータベースシステム部8に出力
する(ステップ62)。出力の宛先は、出力するコマン
ド文字列の内容に応じて決定される。
【0095】なお、ステップ61やステップ62で行な
われる一致判定に関する方法や、変数記述等の取り扱い
方法は、参照先のテーブルが制御情報テーブル11であ
るということ以外は、それぞれ、ステップ51とステッ
プ52と同様の方法で構わない。特に、本実施例におい
ては、参照先のテーブルを別に指定することによって、
処理上全く同一のルーチンを利用して構わない。
われる一致判定に関する方法や、変数記述等の取り扱い
方法は、参照先のテーブルが制御情報テーブル11であ
るということ以外は、それぞれ、ステップ51とステッ
プ52と同様の方法で構わない。特に、本実施例におい
ては、参照先のテーブルを別に指定することによって、
処理上全く同一のルーチンを利用して構わない。
【0096】D.機器構成の具体例 本実施例のシステム120の機器構成を、さらに具体的
なデータに基づいて詳細に説明する。
なデータに基づいて詳細に説明する。
【0097】本実施例では、プロセッサ14および主記
憶装置9として、ワークステーションを用いる。データ
ベースシステム8はワークステーション上に実現された
リレーショナルデータベースシステムを用いる。
憶装置9として、ワークステーションを用いる。データ
ベースシステム8はワークステーション上に実現された
リレーショナルデータベースシステムを用いる。
【0098】タッチパネル17は、ユーザの手などによ
るパネルへの接触(あるいは接触するくらいの接近)に
よって、該接触位置を検出する装置である。透明の静電
容量方式のパネルをディスプレイの表面に据え付けるこ
とにより、ポインティングを主たる目的として用い、パ
ネルからの信号を検出するコントローラをRS−232
Cを介してワークステーションと接続して用いる。な
お、RS−232Cは米国電子工業会(EIA)が定め
たコンピュータのインタフェース規格である。キーボー
ド18やディスプレイ19は周知のものを使用すれば良
く、特に説明を必要としないであろう。音声入力装置1
5はマイクロホンを用いて、音声認識装置16へ音声信
号を入力する。音声認識装置16は、音声に基づく信号
に対応して所定の信号を出力する装置である。
るパネルへの接触(あるいは接触するくらいの接近)に
よって、該接触位置を検出する装置である。透明の静電
容量方式のパネルをディスプレイの表面に据え付けるこ
とにより、ポインティングを主たる目的として用い、パ
ネルからの信号を検出するコントローラをRS−232
Cを介してワークステーションと接続して用いる。な
お、RS−232Cは米国電子工業会(EIA)が定め
たコンピュータのインタフェース規格である。キーボー
ド18やディスプレイ19は周知のものを使用すれば良
く、特に説明を必要としないであろう。音声入力装置1
5はマイクロホンを用いて、音声認識装置16へ音声信
号を入力する。音声認識装置16は、音声に基づく信号
に対応して所定の信号を出力する装置である。
【0099】上記装置15〜19は、所定の機能を具備
すれば良く、他の製品でも代替可能である。例えば、性
能と生産コストの都合から、音声認識装置からイントネ
ーションの解析機能を取り除いた装置であっても本発明
を実施することはできる。
すれば良く、他の製品でも代替可能である。例えば、性
能と生産コストの都合から、音声認識装置からイントネ
ーションの解析機能を取り除いた装置であっても本発明
を実施することはできる。
【0100】また、本実施例では、入力手段として音声
認識装置16やタッチパネル17やキーボード18を用
いて説明するが、これらのすべての装置が必要というわ
けではなく、幾つかの入力手段を備えていれば、本発明
を実施できる。また、同じ理由により、入力手段とし
て、文字認識装置、マウス、データグローブ、データス
ーツによって、自然言語文やデータの入力を行なって
も、本発明を実施することができる。このように実施で
きることは、以下の明細によって明らかになるであろ
う。
認識装置16やタッチパネル17やキーボード18を用
いて説明するが、これらのすべての装置が必要というわ
けではなく、幾つかの入力手段を備えていれば、本発明
を実施できる。また、同じ理由により、入力手段とし
て、文字認識装置、マウス、データグローブ、データス
ーツによって、自然言語文やデータの入力を行なって
も、本発明を実施することができる。このように実施で
きることは、以下の明細によって明らかになるであろ
う。
【0101】さらに、本実施例では、出力手段として、
ディスプレイ19やデータベースシステム8を用いて説
明するが、これらのすべての装置が必要という分けでは
なく、幾つかの出力手段を備えていれば、本発明を実施
できる。また、同じ理由により、出力手段として、音声
合成装置やエキスパートシステムや意志決定支援システ
ムやエアコンや電子レンジのように制御信号に基づいて
制御されている装置を出力手段とすることもできる。こ
のように、他の出力手段を用いても本発明を実施できる
ことは、以下の明細によって明らかになるであろう。
ディスプレイ19やデータベースシステム8を用いて説
明するが、これらのすべての装置が必要という分けでは
なく、幾つかの出力手段を備えていれば、本発明を実施
できる。また、同じ理由により、出力手段として、音声
合成装置やエキスパートシステムや意志決定支援システ
ムやエアコンや電子レンジのように制御信号に基づいて
制御されている装置を出力手段とすることもできる。こ
のように、他の出力手段を用いても本発明を実施できる
ことは、以下の明細によって明らかになるであろう。
【0102】なお、表示部7は、出力装置としてのディ
スプレイの他に、文字やグラフや表を出力するために必
要となる処理を備え、ハードウェア、または、ソフトウ
ェア(例えば、グラフ表示システム、表計算ソフト、ワ
ードプロセッサ、スプレッドシートなどと呼ばれるアプ
リケーションソフトウェア)を用いて実現する。ここで
は、説明の都合上、表示を目的としたコマンドに相当す
る操作指示命令を表示部7に命令することで適当な表示
が行なえると仮定しておく。
スプレイの他に、文字やグラフや表を出力するために必
要となる処理を備え、ハードウェア、または、ソフトウ
ェア(例えば、グラフ表示システム、表計算ソフト、ワ
ードプロセッサ、スプレッドシートなどと呼ばれるアプ
リケーションソフトウェア)を用いて実現する。ここで
は、説明の都合上、表示を目的としたコマンドに相当す
る操作指示命令を表示部7に命令することで適当な表示
が行なえると仮定しておく。
【0103】同様に、データベースシステム8について
も、検索を目的としたコマンドに相当する操作指示命令
をデータベースシステム8に命令することでデータを検
索し、検索結果を取得することができると仮定してお
く。
も、検索を目的としたコマンドに相当する操作指示命令
をデータベースシステム8に命令することでデータを検
索し、検索結果を取得することができると仮定してお
く。
【0104】このように、表示部7やデータベースシス
テム8は、通常の機能を備えていれば、どのようなもの
でも構わず、市販されているものを用いてもよい。ま
た、コマンドに相当する操作指示命令を備えていない表
示部7やデータベースシステム8であっても、それぞれ
表示機能、検索機能に相当する1対1の制御体系が存在
すれば、本発明を実施することは可能であることは以下
の説明から容易に理解されるであろう。
テム8は、通常の機能を備えていれば、どのようなもの
でも構わず、市販されているものを用いてもよい。ま
た、コマンドに相当する操作指示命令を備えていない表
示部7やデータベースシステム8であっても、それぞれ
表示機能、検索機能に相当する1対1の制御体系が存在
すれば、本発明を実施することは可能であることは以下
の説明から容易に理解されるであろう。
【0105】E.処理の具体例 つぎに、本実施例のシステム120における操作指示解
析処理の流れを、具体例を用いて詳細に説明する。な
お、ここでは、「これを詳細に」という音声入力と、
「これ」の内容の指示であるタッチパネル上の座標の入
力とを伴う、表示内容の詳細化の指示を、操作指示の具
体例として用いる。
析処理の流れを、具体例を用いて詳細に説明する。な
お、ここでは、「これを詳細に」という音声入力と、
「これ」の内容の指示であるタッチパネル上の座標の入
力とを伴う、表示内容の詳細化の指示を、操作指示の具
体例として用いる。
【0106】(1)入力の受け付け 初めに、音声認識部1では、マイクロホンを介して、音
声による「これを詳細に」という入力が受け付けられ
る。音声の入力にはマイクロホンを用いずに、電話受話
器を用いても良い。
声による「これを詳細に」という入力が受け付けられ
る。音声の入力にはマイクロホンを用いずに、電話受話
器を用いても良い。
【0107】次に、該音声認識部1は、入力された音声
を基に、音声認識し、対応する記号列に変換する。例え
ば、音声の音素やアクセントやイントネーションのマッ
チングを音声認識装置が行ない、対応する自然言語文字
列「これを詳細に」を出力する。
を基に、音声認識し、対応する記号列に変換する。例え
ば、音声の音素やアクセントやイントネーションのマッ
チングを音声認識装置が行ない、対応する自然言語文字
列「これを詳細に」を出力する。
【0108】音声認識装置は、音声に対して1対1対応
の記号列を出力すれば良く、「コレヲショウサイニ」や
「korewosyousani」や「abcde
f...」であっても構わないし、さらにこの出力をワ
ープロで使われているかな漢字変換処理を施した結果で
ある「これを詳細に」であっても構わない。従って、音
声認識装置は、市販されているような周知の装置を使っ
て構わない。とはいえ、機能的に同質な装置であれば、
すなわち、複数の異なる音声波形に応じて、異なる記号
列を出力する装置であれば、本発明を実施するのに十分
であることは明らかであろう。
の記号列を出力すれば良く、「コレヲショウサイニ」や
「korewosyousani」や「abcde
f...」であっても構わないし、さらにこの出力をワ
ープロで使われているかな漢字変換処理を施した結果で
ある「これを詳細に」であっても構わない。従って、音
声認識装置は、市販されているような周知の装置を使っ
て構わない。とはいえ、機能的に同質な装置であれば、
すなわち、複数の異なる音声波形に応じて、異なる記号
列を出力する装置であれば、本発明を実施するのに十分
であることは明らかであろう。
【0109】ここでは、以下の処理の説明上かな漢字混
じり文「これを詳細に」を出力すると仮定する。しか
し、認識結果選択部4や意味解析部5で必要とする情報
を含む態様のデータであれば、かな漢字混じりの自然言
語文でなくてもよい。例えば、指示情報テーブル10の
意味解析単位20とマッチング可能な記号列であればど
のような文字列であっても構わない。
じり文「これを詳細に」を出力すると仮定する。しか
し、認識結果選択部4や意味解析部5で必要とする情報
を含む態様のデータであれば、かな漢字混じりの自然言
語文でなくてもよい。例えば、指示情報テーブル10の
意味解析単位20とマッチング可能な記号列であればど
のような文字列であっても構わない。
【0110】また、音声認識装置は、記憶領域(バッフ
ァ)に情報を蓄えることができるので、ユーザが一音ず
つまたは一単語ずつ区切って発声した入力であっても上
記記号列を出力することができる。記憶領域(バッフ
ァ)については、当業者においては周知の技術であるの
で、詳細な説明は要しないであろう。
ァ)に情報を蓄えることができるので、ユーザが一音ず
つまたは一単語ずつ区切って発声した入力であっても上
記記号列を出力することができる。記憶領域(バッフ
ァ)については、当業者においては周知の技術であるの
で、詳細な説明は要しないであろう。
【0111】さらに、また、音声認識装置は入力に応じ
て一単語ごとに対応する記号列を出力しても構わない。
音声入力装置と音声認識装置は物理的に組み合わされた
ものでも構わない。広く普及しているマイクロホンを使
用する場合には、音声認識装置を別装置として提供した
方が望ましい。この場合、各マイクロホンごとに音声認
識装置を接続しても良いし、以下の処理を実行する計算
機に接続する形態をとっても構わない。
て一単語ごとに対応する記号列を出力しても構わない。
音声入力装置と音声認識装置は物理的に組み合わされた
ものでも構わない。広く普及しているマイクロホンを使
用する場合には、音声認識装置を別装置として提供した
方が望ましい。この場合、各マイクロホンごとに音声認
識装置を接続しても良いし、以下の処理を実行する計算
機に接続する形態をとっても構わない。
【0112】また、音声認識装置は、本実施例のよう
に、マイクロホンからの音声の入力に応じた時刻、例え
ば、一連の入力が完了した時刻に対応するデータを出力
できることが望ましい。ここでは、音声認識装置から、
「14時25分33秒」と出力されると仮定する。タイ
ムスタンプは、入力が完了した時刻である代わりに、入
力を開始した時刻でも良いし、所定の取決めによって決
定される時刻で良いが、説明上、以下では、入力が完了
した時刻の場合を説明する。タイムスタンプが、入力を
完了した時刻でない場合も、それぞれ同様の処理、ある
いは、多少の改良の処理で対応できることは本実施例の
後の説明から明らかになる。
に、マイクロホンからの音声の入力に応じた時刻、例え
ば、一連の入力が完了した時刻に対応するデータを出力
できることが望ましい。ここでは、音声認識装置から、
「14時25分33秒」と出力されると仮定する。タイ
ムスタンプは、入力が完了した時刻である代わりに、入
力を開始した時刻でも良いし、所定の取決めによって決
定される時刻で良いが、説明上、以下では、入力が完了
した時刻の場合を説明する。タイムスタンプが、入力を
完了した時刻でない場合も、それぞれ同様の処理、ある
いは、多少の改良の処理で対応できることは本実施例の
後の説明から明らかになる。
【0113】このタイムスタンプは、本実施例の装置が
内部で利用するためのものであり、この例のように可読
な文字列である必要は必ずしもない。従って、計算機内
部で独自にクロックをカウントしたようなものでも構わ
ない。利用の状況によっては年や月や日付やミリ秒やマ
イクロ秒を含む時刻であっても構わないし、逆に時や分
や秒を含んでいなくとも良い。
内部で利用するためのものであり、この例のように可読
な文字列である必要は必ずしもない。従って、計算機内
部で独自にクロックをカウントしたようなものでも構わ
ない。利用の状況によっては年や月や日付やミリ秒やマ
イクロ秒を含む時刻であっても構わないし、逆に時や分
や秒を含んでいなくとも良い。
【0114】音声認識装置が時刻に関するデータを出力
しない場合は、音声に対応するデータ(今の例では「こ
れを詳細に」)を受け取ったワークステーションの処理
プログラムの方で、受け取り時刻を付与する。シングル
クロックで動作しているワークステーションであれば、
このクロックを利用することにより一元的な時計を実現
できるので、複数の入力装置が管理すべき時計の同期を
合わせる必要がなくなり、処理が容易になるという長所
がある。音声認識装置など各入力装置とワークステーシ
ョンが通信回線等を介して遠隔地で利用される場合、ユ
ーザからの各入力データがワークステーションへの到着
時刻がずれるような利用環境では、各入力および認識装
置(例えば、音声認識装置)が各認識結果(例えば、音
声認識結果)に対してタイムスタンプを付与することが
望ましい。なお、音声認識装置の一部が、ワークステー
ション上のプログラムとして処理されていても構わな
い。
しない場合は、音声に対応するデータ(今の例では「こ
れを詳細に」)を受け取ったワークステーションの処理
プログラムの方で、受け取り時刻を付与する。シングル
クロックで動作しているワークステーションであれば、
このクロックを利用することにより一元的な時計を実現
できるので、複数の入力装置が管理すべき時計の同期を
合わせる必要がなくなり、処理が容易になるという長所
がある。音声認識装置など各入力装置とワークステーシ
ョンが通信回線等を介して遠隔地で利用される場合、ユ
ーザからの各入力データがワークステーションへの到着
時刻がずれるような利用環境では、各入力および認識装
置(例えば、音声認識装置)が各認識結果(例えば、音
声認識結果)に対してタイムスタンプを付与することが
望ましい。なお、音声認識装置の一部が、ワークステー
ション上のプログラムとして処理されていても構わな
い。
【0115】ユーザは、ディスプレイに備え付けられた
タッチパネル17を、(通常、指によって)触ることに
より、座標を入力する。これに応じて、タッチパネル部
2は、接触を検出した箇所のX座標および座標を検出
し、この座標データおよび接触時刻「14時25分31
秒」を出力する。なお、ここでは、接触された箇所は、
X座標が12、Y座標が23(以下では、これを簡略し
て(12,23)と表記する)であり、その接触時刻は
「14時25分31秒」であったものとして、説明を進
める。
タッチパネル17を、(通常、指によって)触ることに
より、座標を入力する。これに応じて、タッチパネル部
2は、接触を検出した箇所のX座標および座標を検出
し、この座標データおよび接触時刻「14時25分31
秒」を出力する。なお、ここでは、接触された箇所は、
X座標が12、Y座標が23(以下では、これを簡略し
て(12,23)と表記する)であり、その接触時刻は
「14時25分31秒」であったものとして、説明を進
める。
【0116】タイムスタンプを取り扱うにあたり、取り
扱い方やシステム構成には先程の音声認識の場合と同様
に幾つかのバリエーションがあるが、これらの取り扱い
方やシステム構成は類推が容易なので、これ以上の説明
は要しないであろう。
扱い方やシステム構成には先程の音声認識の場合と同様
に幾つかのバリエーションがあるが、これらの取り扱い
方やシステム構成は類推が容易なので、これ以上の説明
は要しないであろう。
【0117】これまでに説明してきた音声と指による入
力は、どちらか一方が他方より先行して入力しなければ
ならないという制約はない。本実施例では、これらの2
つ様式(モーダル、または、モダリティとも呼ばれる)
による入力は、非同期的かつ随時的に受け付けられ、同
一時刻に入力されても構わない。
力は、どちらか一方が他方より先行して入力しなければ
ならないという制約はない。本実施例では、これらの2
つ様式(モーダル、または、モダリティとも呼ばれる)
による入力は、非同期的かつ随時的に受け付けられ、同
一時刻に入力されても構わない。
【0118】また、それらの入力から認識結果を得る処
理は、それぞれ別のプロセッサを用いて処理してもよ
い。しかし、プロセッサの処理速度は、通常十分に速い
ので、本実施例のように、単一のプロセッサによるマル
チタスク(あるいはマルチプロセス)処理により複数の
モーダルの入力データを処理することもできる。なお、
これらの入力データを、単一のプロセッサにより認識結
果選択部4の処理を実現するためには、割込み処理や排
他処理により、(少なくとも、見かけ上)単一のバッフ
ァリングを行なう必要がある。
理は、それぞれ別のプロセッサを用いて処理してもよ
い。しかし、プロセッサの処理速度は、通常十分に速い
ので、本実施例のように、単一のプロセッサによるマル
チタスク(あるいはマルチプロセス)処理により複数の
モーダルの入力データを処理することもできる。なお、
これらの入力データを、単一のプロセッサにより認識結
果選択部4の処理を実現するためには、割込み処理や排
他処理により、(少なくとも、見かけ上)単一のバッフ
ァリングを行なう必要がある。
【0119】本実施例における、2つの様式による入力
操作の外観を、図8に示す。図8に示した例では、ディ
スプレイ19の表示画面には、アプリケーションソフト
ウェア実行手段によりグラフ表示システムが実行された
結果として、図形25が表示されている。本実施例で
は、ディスプレイ19の表示画面の表面に、タッチパネ
ル17が備え付けられている。タッチパネル17は透明
であるから、ディスプレイ19に表示された画像は、タ
ッチパネル17を透過して外部から視認される。
操作の外観を、図8に示す。図8に示した例では、ディ
スプレイ19の表示画面には、アプリケーションソフト
ウェア実行手段によりグラフ表示システムが実行された
結果として、図形25が表示されている。本実施例で
は、ディスプレイ19の表示画面の表面に、タッチパネ
ル17が備え付けられている。タッチパネル17は透明
であるから、ディスプレイ19に表示された画像は、タ
ッチパネル17を透過して外部から視認される。
【0120】タッチパネル17を介しての入力は、この
タッチパネル17上の任意の点への接触を検出すること
によって受け付けられる。図8に示した例では、タッチ
パネル17上の点81(X座標が12、Y座標が23の
位置)が、指82によって接触されている。これによ
り、点81の座標(X座標が12、Y座標が23)の入
力が受け付けられたことになる。なお、本実施例では、
この座標は、ディスプレイ19上に表示された図形25
のある領域83にあらかじめ定義された情報を意味す
る。
タッチパネル17上の任意の点への接触を検出すること
によって受け付けられる。図8に示した例では、タッチ
パネル17上の点81(X座標が12、Y座標が23の
位置)が、指82によって接触されている。これによ
り、点81の座標(X座標が12、Y座標が23)の入
力が受け付けられたことになる。なお、本実施例では、
この座標は、ディスプレイ19上に表示された図形25
のある領域83にあらかじめ定義された情報を意味す
る。
【0121】また、「これを詳細に」という音声が発せ
られると、この音声をマイクロホン15が検知すること
により、音声の入力も受け付けられる。本実施例では、
この音声による入力と、タッチパネル17への接触によ
る入力とが同時に行われても、支障なく受け付けられ
る。
られると、この音声をマイクロホン15が検知すること
により、音声の入力も受け付けられる。本実施例では、
この音声による入力と、タッチパネル17への接触によ
る入力とが同時に行われても、支障なく受け付けられ
る。
【0122】ここでは、タッチパネル17への接触は1
4時25分31秒に行われ、「これを詳細に」という音
声入力は14時25分33秒に終了したものとして説明
しているが、この場合、音声認識部1は、「これを詳細
に」という認識結果と「14時25分33秒」というタ
イムスタンプとを、認識情報として認識結果選択部4へ
通知し、タッチパネル部2は、「座標(12、23)」
という認識結果と「14時25分31秒」というタイム
スタンプとを、認識情報として認識結果選択部4へ通知
する。
4時25分31秒に行われ、「これを詳細に」という音
声入力は14時25分33秒に終了したものとして説明
しているが、この場合、音声認識部1は、「これを詳細
に」という認識結果と「14時25分33秒」というタ
イムスタンプとを、認識情報として認識結果選択部4へ
通知し、タッチパネル部2は、「座標(12、23)」
という認識結果と「14時25分31秒」というタイム
スタンプとを、認識情報として認識結果選択部4へ通知
する。
【0123】(2)認識結果の選択 認識情報の通知を受け付けた認識結果選択部4は、以上
のようにして入力された2つの様式による認識結果とタ
イムスタンプとのペア(認識情報)を、ワークエリア3
2に格納する(ステップ41)。このときのワークエリ
アの状態を、図9に模式的に示す。図9に示したよう
に、ワークエリア32には、認識結果の格納領域26と
タイムスタンプの格納領域27とが、入力を受け付けた
認識情報のレコード数分確保され、第1のレコードの認
識結果格納領域26には「これを詳細に」が、タイムス
タンプ格納領域27には「14時25分33秒」が、第
2のレコードの認識結果格納領域26には(12,2
3)が、タイムスタンプ格納領域27には「14時25
分31秒」が、それぞれ格納される。
のようにして入力された2つの様式による認識結果とタ
イムスタンプとのペア(認識情報)を、ワークエリア3
2に格納する(ステップ41)。このときのワークエリ
アの状態を、図9に模式的に示す。図9に示したよう
に、ワークエリア32には、認識結果の格納領域26と
タイムスタンプの格納領域27とが、入力を受け付けた
認識情報のレコード数分確保され、第1のレコードの認
識結果格納領域26には「これを詳細に」が、タイムス
タンプ格納領域27には「14時25分33秒」が、第
2のレコードの認識結果格納領域26には(12,2
3)が、タイムスタンプ格納領域27には「14時25
分31秒」が、それぞれ格納される。
【0124】ステップ42では、認識結果選択部4は、
まず、ワークエリア32内の認識結果26に着目し、こ
れがより小さな認識結果に分割可能であるか否かを調べ
る。本実施例では、分割方法として「文節分割」を用い
る。認識結果選択部4は、音声認識の結果である自然言
語文「これを詳細に」に対して形態素解析および構文解
析を行い、小さな文節に分割可能であること、すなわ
ち、認識結果「これを詳細に」は、「これを」と「詳細
に」とに文節分割できることを検出する。
まず、ワークエリア32内の認識結果26に着目し、こ
れがより小さな認識結果に分割可能であるか否かを調べ
る。本実施例では、分割方法として「文節分割」を用い
る。認識結果選択部4は、音声認識の結果である自然言
語文「これを詳細に」に対して形態素解析および構文解
析を行い、小さな文節に分割可能であること、すなわ
ち、認識結果「これを詳細に」は、「これを」と「詳細
に」とに文節分割できることを検出する。
【0125】つぎに、認識結果選択部4は、分割によっ
て生じた新たな認識結果のタイムスタンプを推定する。
本実施例では、推定方法として「1文字を1秒として換
算するという推定方法」を用いる。認識結果選択部4
は、認識結果「これを」に対応するタイムスタンプの値
を、元の認識結果「これを詳細に」のタイムスタンプ
(入力終了時刻)である「14時25分33秒」から、
「詳細に」の文字数3文字に相当する時間(3秒間)を
減じて得られる時刻、すなわち、元のタイムスタンプの
値の3秒前である「14時25分30秒」と推定する。
また、認識結果センタ部4は、分割によって生じたもう
一つの認識結果「詳細に」のタイムスタンプは、元の認
識結果のタイムスタンプと同一の「14時25分33
秒」とする。
て生じた新たな認識結果のタイムスタンプを推定する。
本実施例では、推定方法として「1文字を1秒として換
算するという推定方法」を用いる。認識結果選択部4
は、認識結果「これを」に対応するタイムスタンプの値
を、元の認識結果「これを詳細に」のタイムスタンプ
(入力終了時刻)である「14時25分33秒」から、
「詳細に」の文字数3文字に相当する時間(3秒間)を
減じて得られる時刻、すなわち、元のタイムスタンプの
値の3秒前である「14時25分30秒」と推定する。
また、認識結果センタ部4は、分割によって生じたもう
一つの認識結果「詳細に」のタイムスタンプは、元の認
識結果のタイムスタンプと同一の「14時25分33
秒」とする。
【0126】なお、「文節分割」によって3つ以上に分
割されるような場合でも同様に、順に後方の文節からタ
イムスタンプを決定して行くことができる。また、先程
説明したような、上記以外の分割方法や推定方法を一つ
あるいは複数利用する場合についても、ほぼ同様にし
て、認識結果を分割したり、タイムスタンプを推定した
りすることができることは類推可能であろう。
割されるような場合でも同様に、順に後方の文節からタ
イムスタンプを決定して行くことができる。また、先程
説明したような、上記以外の分割方法や推定方法を一つ
あるいは複数利用する場合についても、ほぼ同様にし
て、認識結果を分割したり、タイムスタンプを推定した
りすることができることは類推可能であろう。
【0127】このようにして認識結果を分割し、さら
に、該認識結果のタイムスタンプを推定すると、認識結
果選択部4は、分割した元の認識情報をワークエリア3
2から削除し、図10に示すように、分割により増加し
たレコードの分の領域26,27を確保して、分割によ
り新たに生成した認識情報のレコードをワークエリア3
2に格納する。
に、該認識結果のタイムスタンプを推定すると、認識結
果選択部4は、分割した元の認識情報をワークエリア3
2から削除し、図10に示すように、分割により増加し
たレコードの分の領域26,27を確保して、分割によ
り新たに生成した認識情報のレコードをワークエリア3
2に格納する。
【0128】ステップ41〜42の処理中(先の通知か
ら5秒以内)に、他の入力についての認識情報が通知さ
れた場合には、認識結果選択部4は、ステップ43にお
いて、所定の判断基準(本実施例では、5秒以上ユーザ
からの入力がないこと)により、同一意味解析単位とし
て処理すべき認識情報がさらに入力されたものと判断し
て、処理をステップ41に戻す。
ら5秒以内)に、他の入力についての認識情報が通知さ
れた場合には、認識結果選択部4は、ステップ43にお
いて、所定の判断基準(本実施例では、5秒以上ユーザ
からの入力がないこと)により、同一意味解析単位とし
て処理すべき認識情報がさらに入力されたものと判断し
て、処理をステップ41に戻す。
【0129】しかし、ここでは、上述した2つの認識結
果以外の入力は行われない場合を例にしているので、先
の通知から5秒以内に新たな通知はない。そこで、認識
結果選択部4は、ステップ43において、所定の判断基
準(本実施例では、5秒以上ユーザからの入力がないこ
と)により、同一意味解析単位として処理すべき認識情
報はすべて解析したものと判断して、ステップ44に処
理を進める。
果以外の入力は行われない場合を例にしているので、先
の通知から5秒以内に新たな通知はない。そこで、認識
結果選択部4は、ステップ43において、所定の判断基
準(本実施例では、5秒以上ユーザからの入力がないこ
と)により、同一意味解析単位として処理すべき認識情
報はすべて解析したものと判断して、ステップ44に処
理を進める。
【0130】ステップ43の判断基準としては、入力デ
ータの中にある特定の概念や記号が含まれていることを
理由にステップ44へ処理を進めるようにしてもよい。
例えば、入力データに「動詞の命令形」が含まれていた
り、音声による入力で語尾が上がっていたり、キーボー
ドからの入力では「。」のキーが押下されたり、リター
ンキーが押下されたりした場合、あるいは、これらを併
用して本ステップの判断基準として設定しても構わな
い。
ータの中にある特定の概念や記号が含まれていることを
理由にステップ44へ処理を進めるようにしてもよい。
例えば、入力データに「動詞の命令形」が含まれていた
り、音声による入力で語尾が上がっていたり、キーボー
ドからの入力では「。」のキーが押下されたり、リター
ンキーが押下されたりした場合、あるいは、これらを併
用して本ステップの判断基準として設定しても構わな
い。
【0131】次に、認識結果選択部4は、ステップ44
において、タイムスタンプが近い(今の例では、5秒以
内の)認識情報をまとめて意味解析単位として、意味解
析部5へ出力して、処理を終了する。従って、ここで
は、ワークエリア32に保持された3つの認識情報(図
10に図示)が、一つの意味解析単位として意味解析部
5へ出力される。
において、タイムスタンプが近い(今の例では、5秒以
内の)認識情報をまとめて意味解析単位として、意味解
析部5へ出力して、処理を終了する。従って、ここで
は、ワークエリア32に保持された3つの認識情報(図
10に図示)が、一つの意味解析単位として意味解析部
5へ出力される。
【0132】(3)操作指示内容の検出 通知を受けた意味解析部5は、認識結果選択部4の出力
した意味解析単位と、予め用意された指示情報テーブル
10内の意味解析単位20とを照合し、一致するレコー
ドを検出する(ステップ51)。
した意味解析単位と、予め用意された指示情報テーブル
10内の意味解析単位20とを照合し、一致するレコー
ドを検出する(ステップ51)。
【0133】今、指示情報テーブル10が、図3に示す
具体的データを保持しているとすると、通知された意味
解析単位は、指示情報テーブル10の第2レコード(2
行目の領域に保持されたレコード)と一致する。すなわ
ち、認識結果「これを」に対するタイムスタンプ「14
時25分30秒」が「変数S」に一致(この一致の仕方
は、通常、ユニフィーケーションとも呼ばれている(以
下同様))し、認識結果「詳細に」に対するタイムスタ
ンプ「14時25分33秒」が「変数T」に一致すると
共に、変数Sと変数Tの間の関係式「T<S+4」を満
たし、さらに、タッチパネルからの認識結果として「1
2」が「変数X」に「23」が「変数Y」に一致し、該
認識結果に対するタイムスタンプ「14時25分31
秒」が「変数U」に一致すると共に、変数Sと変数Uの
間の関係式「|U−S|<2」を満たしている。従っ
て、意味解析部5は、通知された意味解析単位と一致す
るものとして、第2レコードを検出する。なお、一致す
る対象は、複数のレコードであってもよいが、その場合
は何らかの方法(例えば、ユーザに選択させる等)で、
この時点あるいはこれ以降の時点で一つに絞ることが望
ましい。そこで、本実施例では、意味解析部5は、複数
のレコードが検出された場合には、一致の度合い等によ
り定められる優先順位に従って、最も高い優先順位を有
するレコードを、つぎのステップ52の処理対象とす
る。
具体的データを保持しているとすると、通知された意味
解析単位は、指示情報テーブル10の第2レコード(2
行目の領域に保持されたレコード)と一致する。すなわ
ち、認識結果「これを」に対するタイムスタンプ「14
時25分30秒」が「変数S」に一致(この一致の仕方
は、通常、ユニフィーケーションとも呼ばれている(以
下同様))し、認識結果「詳細に」に対するタイムスタ
ンプ「14時25分33秒」が「変数T」に一致すると
共に、変数Sと変数Tの間の関係式「T<S+4」を満
たし、さらに、タッチパネルからの認識結果として「1
2」が「変数X」に「23」が「変数Y」に一致し、該
認識結果に対するタイムスタンプ「14時25分31
秒」が「変数U」に一致すると共に、変数Sと変数Uの
間の関係式「|U−S|<2」を満たしている。従っ
て、意味解析部5は、通知された意味解析単位と一致す
るものとして、第2レコードを検出する。なお、一致す
る対象は、複数のレコードであってもよいが、その場合
は何らかの方法(例えば、ユーザに選択させる等)で、
この時点あるいはこれ以降の時点で一つに絞ることが望
ましい。そこで、本実施例では、意味解析部5は、複数
のレコードが検出された場合には、一致の度合い等によ
り定められる優先順位に従って、最も高い優先順位を有
するレコードを、つぎのステップ52の処理対象とす
る。
【0134】次に、意味解析部5は、ステップ51で一
致を検出したレコードの操作指示内容記憶領域21に保
持されているデータを、コマンド生成部6に出力する
(ステップ52)。
致を検出したレコードの操作指示内容記憶領域21に保
持されているデータを、コマンド生成部6に出力する
(ステップ52)。
【0135】今の例では、第2レコードの操作指示内容
記憶領域21には、操作指示機能として「表示」が、操
作指示条件として「詳細」が、操作対象として「@tabl
eID(@X,@Y)」が、それぞれ保持されている。操作
対象は関数記述してあるが、ステップ51において、変
数Xおよび変数Yが、それぞれ、12、23であったの
で、この関数は「@tableID(12,23)」と等価である。さ
らに、予め関数tableIDは、引数の座標に対応して、そ
こにあるテーブルの識別子名を返す関数として用意され
ている。そこで、結果的に操作対象として例えば「WORK
_TABLE_2」を得ることができる。従って、意味解析部5
が実際にコマンド生成部6に通知する操作指示内容は、
操作指示機能が「表示」であり、操作指示条件が「詳
細」であり、操作対象が「WORK_TABLE_2」である。
記憶領域21には、操作指示機能として「表示」が、操
作指示条件として「詳細」が、操作対象として「@tabl
eID(@X,@Y)」が、それぞれ保持されている。操作
対象は関数記述してあるが、ステップ51において、変
数Xおよび変数Yが、それぞれ、12、23であったの
で、この関数は「@tableID(12,23)」と等価である。さ
らに、予め関数tableIDは、引数の座標に対応して、そ
こにあるテーブルの識別子名を返す関数として用意され
ている。そこで、結果的に操作対象として例えば「WORK
_TABLE_2」を得ることができる。従って、意味解析部5
が実際にコマンド生成部6に通知する操作指示内容は、
操作指示機能が「表示」であり、操作指示条件が「詳
細」であり、操作対象が「WORK_TABLE_2」である。
【0136】なお、このような変数参照や関数適用は、
本実施例のようにステップ52の中で行なっても良い
し、さもなくば、ステップ52では記号列のまま出力し
後述のコマンド生成部6の中で行なっても良い。
本実施例のようにステップ52の中で行なっても良い
し、さもなくば、ステップ52では記号列のまま出力し
後述のコマンド生成部6の中で行なっても良い。
【0137】(4)コマンドの生成 操作指示内容の通知を受けたコマンド生成部6は、意味
解析部5で出力された操作指示機能と、予め用意された
制御情報テーブル11内の操作指示内容22とを照合
し、一致するものを取り出す(ステップ61)。
解析部5で出力された操作指示機能と、予め用意された
制御情報テーブル11内の操作指示内容22とを照合
し、一致するものを取り出す(ステップ61)。
【0138】今、制御情報テーブル11が図4に示す具
体的データを保持しているとすると、通知された操作指
示内容は、制御情報テーブル11の第1レコード(1行
目の領域に保持されたレコード)に一致する。制御情報
テーブル11内の記述も先程の指示情報テーブルと同様
に変数記述や式記述や関数記述があってもよい。この例
では、操作対象として「WORK_TABLE_2」が「変数A」に
一致する。そこで、コマンド生成部6は、通知された操
作指示内容と一致するものとして、第1レコードを検出
する。なお、ここで用いている具体例では、検出される
レコードは一つであるが、複数のレコードが検出された
場合には、コマンド生成部6は、一致の度合い等により
定められる優先順位に従って、最も高い優先順位を有す
るレコードを、つぎのステップ62の処理対象とする。
体的データを保持しているとすると、通知された操作指
示内容は、制御情報テーブル11の第1レコード(1行
目の領域に保持されたレコード)に一致する。制御情報
テーブル11内の記述も先程の指示情報テーブルと同様
に変数記述や式記述や関数記述があってもよい。この例
では、操作対象として「WORK_TABLE_2」が「変数A」に
一致する。そこで、コマンド生成部6は、通知された操
作指示内容と一致するものとして、第1レコードを検出
する。なお、ここで用いている具体例では、検出される
レコードは一つであるが、複数のレコードが検出された
場合には、コマンド生成部6は、一致の度合い等により
定められる優先順位に従って、最も高い優先順位を有す
るレコードを、つぎのステップ62の処理対象とする。
【0139】次に、コマンド生成部6は、ステップ61
で検出した第1レコードの、コマンド文字列記憶領域2
3に保持されたデータを、表示部7またはデータベース
管理システム部8へ出力する(ステップ62)。
で検出した第1レコードの、コマンド文字列記憶領域2
3に保持されたデータを、表示部7またはデータベース
管理システム部8へ出力する(ステップ62)。
【0140】今の例では、出力されるコマンド文字列
は、「Display -detail @A」である。変数Aを参照す
ることで、該コマンド文字列として、結果的に「Displa
y -detail WORK_TABLE_2」を得ることができる。なお、
コマンド文字列は、表示部7またはデータベース管理シ
ステム部8が管理するデータへのコマンドである。説明
の都合上、ここでは、コマンド文字列「Display -detai
l WORK_TABLE_2」は、識別子「WORK_TABLE_2」なるテー
ブルの持つ情報(属性やカラムデータやセルデータな
ど)を表示出力することを指示する、表示部7へのコマ
ンドであるとする。とはいえ、コマンド生成部6は、制
御対象機器を操作するためのコマンドさえ生成できれば
良く、生成されたコマンド文字列の構文的な正しさや実
行可能性を必ずしも保証する必要はない。
は、「Display -detail @A」である。変数Aを参照す
ることで、該コマンド文字列として、結果的に「Displa
y -detail WORK_TABLE_2」を得ることができる。なお、
コマンド文字列は、表示部7またはデータベース管理シ
ステム部8が管理するデータへのコマンドである。説明
の都合上、ここでは、コマンド文字列「Display -detai
l WORK_TABLE_2」は、識別子「WORK_TABLE_2」なるテー
ブルの持つ情報(属性やカラムデータやセルデータな
ど)を表示出力することを指示する、表示部7へのコマ
ンドであるとする。とはいえ、コマンド生成部6は、制
御対象機器を操作するためのコマンドさえ生成できれば
良く、生成されたコマンド文字列の構文的な正しさや実
行可能性を必ずしも保証する必要はない。
【0141】今の例では該操作指示内容を表示部7に対
する表示命令として変換したが、対応するコマンド文字
列23にSQL(Structured Query Language)などの検
索言語を記述することでデータベース管理システム部8
への検索/更新命令へ変換することもできる。つまり、
「これを詳細に」という音声と座標(12,23)の指
示という入力信号に基づく意味解析の結果である操作指
示内容が同一であっても、制御情報テーブル11に定義
されたコマンド文字列によって、「表示内容を詳細にす
る」命令を出力したり、「詳細な情報を得るべく検索す
る」命令を出力したりすることができる。
する表示命令として変換したが、対応するコマンド文字
列23にSQL(Structured Query Language)などの検
索言語を記述することでデータベース管理システム部8
への検索/更新命令へ変換することもできる。つまり、
「これを詳細に」という音声と座標(12,23)の指
示という入力信号に基づく意味解析の結果である操作指
示内容が同一であっても、制御情報テーブル11に定義
されたコマンド文字列によって、「表示内容を詳細にす
る」命令を出力したり、「詳細な情報を得るべく検索す
る」命令を出力したりすることができる。
【0142】なお、これらの対応関係を両方とも制御情
報テーブル11に用意しておき、別の手段(例えば、ユ
ーザへの問い合わせ)で、より適切な命令を出力しても
構わない。コマンド文字列が実行できるかどうか、どの
システムで実行すべきか、さらなる記号的変形や信号的
変換が必要かどうかを判断し実行するために、コマンド
生成部6による処理と、表示部7やデータベースシステ
ム8の処理間に、コマンド文字列についての判断、変
形、変換等の処理を挾んでいてもよい。
報テーブル11に用意しておき、別の手段(例えば、ユ
ーザへの問い合わせ)で、より適切な命令を出力しても
構わない。コマンド文字列が実行できるかどうか、どの
システムで実行すべきか、さらなる記号的変形や信号的
変換が必要かどうかを判断し実行するために、コマンド
生成部6による処理と、表示部7やデータベースシステ
ム8の処理間に、コマンド文字列についての判断、変
形、変換等の処理を挾んでいてもよい。
【0143】(5)コマンドの実行 コマンド文字列の通知を受けた表示部7は、通知された
コマンド文字列に従い、図11に示すようにディスプレ
イ19の表示画面に表示する画像を変更する。すなわ
ち、今の例では、表示部7が該コマンドを実行した結
果、ディスプレイの表示が変更されて、表示画面上にウ
インド(すでに表示されている画像の上に重ねて表示さ
れる矩形領域)が表示される。該ウインドには、指示さ
れた領域83にあらかじめ定義されているデータの詳細
な内容があらかじめ保持されているテーブル(図示せ
ず)の内容が表示される。
コマンド文字列に従い、図11に示すようにディスプレ
イ19の表示画面に表示する画像を変更する。すなわ
ち、今の例では、表示部7が該コマンドを実行した結
果、ディスプレイの表示が変更されて、表示画面上にウ
インド(すでに表示されている画像の上に重ねて表示さ
れる矩形領域)が表示される。該ウインドには、指示さ
れた領域83にあらかじめ定義されているデータの詳細
な内容があらかじめ保持されているテーブル(図示せ
ず)の内容が表示される。
【0144】F.本実施例の効果 以上のようにして、本実施例によれば、時間的な同時性
を考慮することで、音声による自然言語文と指による位
置の指定とによる複数のインタフェースからの入力信号
が意味する操作指示内容を相補的に補完しつつ解析し、
制御対象機器(ディスプレイやデータベースシステムな
ど)を操作する制御装置が提供される。
を考慮することで、音声による自然言語文と指による位
置の指定とによる複数のインタフェースからの入力信号
が意味する操作指示内容を相補的に補完しつつ解析し、
制御対象機器(ディスプレイやデータベースシステムな
ど)を操作する制御装置が提供される。
【0145】ここで、今の例を用いて「相補的な補完」
について説明する。もし音声だけの入力「これを詳細
に」であった場合は、「これ」がどの対象であるかは特
定が困難であるし、もし座標(12,23)の指示だけ
の入力であった場合はその座標が何を指しているか(例
えば、表示物なのか、表示物のより小さな構成要素なの
か、あるいは、ディスプレイ自体なのかなど)、あるい
は、その指示対象を如何に処理すべきなのかは特定が困
難である。しかし、本実施例によれば、両入力情報が操
作指示内容として足りない部分を互いに補いあって解釈
される。このように、互いに足りない部分を補うこと
を、「相補的な補完」と呼ぶ。
について説明する。もし音声だけの入力「これを詳細
に」であった場合は、「これ」がどの対象であるかは特
定が困難であるし、もし座標(12,23)の指示だけ
の入力であった場合はその座標が何を指しているか(例
えば、表示物なのか、表示物のより小さな構成要素なの
か、あるいは、ディスプレイ自体なのかなど)、あるい
は、その指示対象を如何に処理すべきなのかは特定が困
難である。しかし、本実施例によれば、両入力情報が操
作指示内容として足りない部分を互いに補いあって解釈
される。このように、互いに足りない部分を補うこと
を、「相補的な補完」と呼ぶ。
【0146】本実施例では、入力された情報について、
複数のインタフェースからの入力信号から適切に入力時
刻が推定され、推定された時刻を基にして、複数の入力
手段を介してそれぞれ受け付けられた入力情報を相互に
関連付け、その意味する操作指示内容が相補的に補完し
て解釈される。さらに、解釈された操作指示内容に応じ
て、本実施例では、制御対象機器を制御すべくコマンド
文字列が生成される。従って、本実施例によれば、複数
のインタフェースからの入力情報から適切な単一の操作
対象を同定することができる。
複数のインタフェースからの入力信号から適切に入力時
刻が推定され、推定された時刻を基にして、複数の入力
手段を介してそれぞれ受け付けられた入力情報を相互に
関連付け、その意味する操作指示内容が相補的に補完し
て解釈される。さらに、解釈された操作指示内容に応じ
て、本実施例では、制御対象機器を制御すべくコマンド
文字列が生成される。従って、本実施例によれば、複数
のインタフェースからの入力情報から適切な単一の操作
対象を同定することができる。
【0147】また、本実施例の解析装置を利用するユー
ザは、複数のインタフェースを具備する情報処理システ
ムに対して、それらのインタフェースをユーザの自由意
志で、時間的な排他的選択性を意識せずに、非同期に
(あるいは同時的に)、いわば思い付いたままに操作指
示を与えることができる。従って、本実施例によれば、
マウスやキーボードなど複数のインタフェースを決めら
れた手順で切り替えて操作するという煩雑な手続が不要
であり、日常的に使用している自然言語やGUIを組み
合わせて、任意のタイミング(同時を含む)で操作指示
を入力し、制御対象機器を動作させることができる。
ザは、複数のインタフェースを具備する情報処理システ
ムに対して、それらのインタフェースをユーザの自由意
志で、時間的な排他的選択性を意識せずに、非同期に
(あるいは同時的に)、いわば思い付いたままに操作指
示を与えることができる。従って、本実施例によれば、
マウスやキーボードなど複数のインタフェースを決めら
れた手順で切り替えて操作するという煩雑な手続が不要
であり、日常的に使用している自然言語やGUIを組み
合わせて、任意のタイミング(同時を含む)で操作指示
を入力し、制御対象機器を動作させることができる。
【0148】さらに、本実施例では、自然言語の解析手
法を用いるため、形式言語(計算機向きに決められた特
別な形式のコマンド)に習熟する必要がなく、また、任
意のタイミングで入力を受け付けるため、入力の手順に
習熟する必要もない。従って、操作に不慣れなユーザで
あっても、自由に制御対象機器を動作させることができ
る。
法を用いるため、形式言語(計算機向きに決められた特
別な形式のコマンド)に習熟する必要がなく、また、任
意のタイミングで入力を受け付けるため、入力の手順に
習熟する必要もない。従って、操作に不慣れなユーザで
あっても、自由に制御対象機器を動作させることができ
る。
【0149】以上のように、本実施例によれば、単数あ
るいは複数の入力手段からの複数の様式(モード)を同
時に解析し、制御対象機器を動作させることができるイ
ンタフェース(これは、しばしば、マルチモーダルイン
タフェースと呼ばれることもある)を提供することがで
きる。
るいは複数の入力手段からの複数の様式(モード)を同
時に解析し、制御対象機器を動作させることができるイ
ンタフェース(これは、しばしば、マルチモーダルイン
タフェースと呼ばれることもある)を提供することがで
きる。
【0150】なお、本実施例では、意味解析結果および
コマンド生成結果に複数の候補がある場合、最も優先順
位の高いものが選択され、出力されるが、認識結果や意
味解析結果やコマンド生成結果を、それぞれユーザに対
しても出力し、ユーザによる選択を受け付けるようにし
てもよい。このようにすれば、ユーザが誤りを早期に発
見したり、補足的な情報を追加指示できたりするからで
ある。
コマンド生成結果に複数の候補がある場合、最も優先順
位の高いものが選択され、出力されるが、認識結果や意
味解析結果やコマンド生成結果を、それぞれユーザに対
しても出力し、ユーザによる選択を受け付けるようにし
てもよい。このようにすれば、ユーザが誤りを早期に発
見したり、補足的な情報を追加指示できたりするからで
ある。
【0151】G.他の構成例 本実施例では、入力手段群121を入力装置として説明
したが、入力手段群121と認識結果選択部4と、意味
解析部5と、指示情報テーブル10とを合わせて、一つ
の入力装置とすることもできる。この場合の機能ブロッ
ク図の例を図16に示す。
したが、入力手段群121と認識結果選択部4と、意味
解析部5と、指示情報テーブル10とを合わせて、一つ
の入力装置とすることもできる。この場合の機能ブロッ
ク図の例を図16に示す。
【0152】図16に示した構成例では、情報処理シス
テム150は入力装置151とコマンド処理装置152
とを備える。入力装置151は、複数の入力手段1〜3
を有する入力手段群121と、認識結果選択部4、意味
解析部5、ワークエリア32、および指示情報テーブル
10を備える情報処理手段123aとを備え、複数の入
力手段1〜3より入力された情報を分割および/または
併合し、意味解析単位にまとめて出力する装置である。
コマンド処理装置152は、コマンド生成部6、制御情
報テーブル11、および第2のワークエリア32bを有
する処理実行手段123bと、出力手段122と、デー
タベースシステム13とを備え、意味解析単位にまとめ
られた操作指示を受け付けて、コマンドを生成し、それ
を出力手段7またはデータベースシステム12に出力し
て実行させる装置である。コマンド処理装置152全体
を、情報処理システム150の処理実行手段と考えるこ
ともできる。なお、第2のワークエリア32bが、コマ
ンド生成部8の処理のための一時的記憶領域である。
テム150は入力装置151とコマンド処理装置152
とを備える。入力装置151は、複数の入力手段1〜3
を有する入力手段群121と、認識結果選択部4、意味
解析部5、ワークエリア32、および指示情報テーブル
10を備える情報処理手段123aとを備え、複数の入
力手段1〜3より入力された情報を分割および/または
併合し、意味解析単位にまとめて出力する装置である。
コマンド処理装置152は、コマンド生成部6、制御情
報テーブル11、および第2のワークエリア32bを有
する処理実行手段123bと、出力手段122と、デー
タベースシステム13とを備え、意味解析単位にまとめ
られた操作指示を受け付けて、コマンドを生成し、それ
を出力手段7またはデータベースシステム12に出力し
て実行させる装置である。コマンド処理装置152全体
を、情報処理システム150の処理実行手段と考えるこ
ともできる。なお、第2のワークエリア32bが、コマ
ンド生成部8の処理のための一時的記憶領域である。
【0153】このような構成を採る場合、入力装置15
1とコマンド処理装置152とを、それぞれ独立した情
報処理装置により実現してもよい。この場合のハードウ
エア構成例を図17に示す。
1とコマンド処理装置152とを、それぞれ独立した情
報処理装置により実現してもよい。この場合のハードウ
エア構成例を図17に示す。
【0154】図17に示した構成例では、入出力装置1
51は、主記憶装置9aとプロセッサ14aと、音声入
力装置15と、音声認識装置16と、タッチパネル17
と、キーボード18とを備える情報処理装置からなる。
情報処理手段12aの構成要素のうち、指示情報テーブ
ル10およびワークエリア32は、主記憶装置9aに確
保された記憶領域であり、認識結果選択部4および意味
解析部5は、主記憶装置9aの処理プログラム記憶領域
31aに保持されたインストラクションをプロセッサ1
4aが実行することにより実現される。
51は、主記憶装置9aとプロセッサ14aと、音声入
力装置15と、音声認識装置16と、タッチパネル17
と、キーボード18とを備える情報処理装置からなる。
情報処理手段12aの構成要素のうち、指示情報テーブ
ル10およびワークエリア32は、主記憶装置9aに確
保された記憶領域であり、認識結果選択部4および意味
解析部5は、主記憶装置9aの処理プログラム記憶領域
31aに保持されたインストラクションをプロセッサ1
4aが実行することにより実現される。
【0155】また、コマンド処理装置152は、主記憶
装置9bとプロセッサ14bと、ディスプレイ19と、
データベースシステム13とを備える情報処理装置から
なる。処理実行手段123bのうち、第2のワークエリ
ア32bおよび制御情報テーブル11は、主記憶装置9
bに確保された記憶領域であり、コマンド生成部6は、
主記憶装置9bの処理プログラム記憶領域31bに保持
されたインストラクションをプロセッサ14bが実行す
ることにより実現される。なお、データベースシステム
13のCPU131と、コマンド処理装置152のプロ
セッサ14bは、同一の装置であってもよい。
装置9bとプロセッサ14bと、ディスプレイ19と、
データベースシステム13とを備える情報処理装置から
なる。処理実行手段123bのうち、第2のワークエリ
ア32bおよび制御情報テーブル11は、主記憶装置9
bに確保された記憶領域であり、コマンド生成部6は、
主記憶装置9bの処理プログラム記憶領域31bに保持
されたインストラクションをプロセッサ14bが実行す
ることにより実現される。なお、データベースシステム
13のCPU131と、コマンド処理装置152のプロ
セッサ14bは、同一の装置であってもよい。
【0156】H.他の実施例 上述の説明では、タッチパネル17と音声入力装置15
とを介して受け付けられた入力を相補的に補完して解釈
する場合を例に用いたが、他の入力手段を用いて入力を
受け付けてもよい。そこで、つぎに他の入力手段を用い
る場合の例を2つ挙げて説明する。
とを介して受け付けられた入力を相補的に補完して解釈
する場合を例に用いたが、他の入力手段を用いて入力を
受け付けてもよい。そこで、つぎに他の入力手段を用い
る場合の例を2つ挙げて説明する。
【0157】(1)音声認識装置と視線認識装置 本発明の実施例の変形例として、入力手段に音声認識部
1と視線認識部141とを用いる場合について説明す
る。この場合のハードウエア構成を図12に示し、機能
ブロック図を図13に示す。本実施例では、図13に示
すように、入力手段群121に、さらに視線認識部14
1を備える。この視線認識部141は、図12に示す視
線認識装置142により実現される。なお、以下の説明
では、前の実施例と同様である箇所は、説明を省略して
いる。
1と視線認識部141とを用いる場合について説明す
る。この場合のハードウエア構成を図12に示し、機能
ブロック図を図13に示す。本実施例では、図13に示
すように、入力手段群121に、さらに視線認識部14
1を備える。この視線認識部141は、図12に示す視
線認識装置142により実現される。なお、以下の説明
では、前の実施例と同様である箇所は、説明を省略して
いる。
【0158】ここで、視線認識装置は、ユーザがどこを
注視しているかを検出する装置である。例えば、ユーザ
の眼球に赤外線を当ててその反射から視線を認識した
り、テレビカメラなどを利用してユーザの顔(特に、
目)を撮影し、その画像データから視線を認識したりす
る。本実施例の視線認識装置は、視線の認識結果を時系
列的に(例えば、0.1秒毎に)取得し、その視線の認
識結果(例えば、座標の値や方向ベクトル)毎に、タイ
ムスタンプを付与して、出力する装置である。
注視しているかを検出する装置である。例えば、ユーザ
の眼球に赤外線を当ててその反射から視線を認識した
り、テレビカメラなどを利用してユーザの顔(特に、
目)を撮影し、その画像データから視線を認識したりす
る。本実施例の視線認識装置は、視線の認識結果を時系
列的に(例えば、0.1秒毎に)取得し、その視線の認
識結果(例えば、座標の値や方向ベクトル)毎に、タイ
ムスタンプを付与して、出力する装置である。
【0159】ユーザの視線が或る点から別の点に向かっ
て移動した場合、得られる視線認識結果から、軌跡が得
られる。本実施例では、この軌跡上に存在する対象物に
基づいて、連続的に得られる幾つかの視線認識結果を一
つのデータの単位として併合した場合、例えば、併合後
の認識結果(すなわち、該対象物)に対する時間的属性
(タイムスタンプや時間の範囲)を推定し付与する。よ
り具体的には、軌跡と対象物の輪郭との交点におけるタ
イムスタンプを、先の視線認識結果とタイムスタンプの
ペアから補間的に決定すれば良い。
て移動した場合、得られる視線認識結果から、軌跡が得
られる。本実施例では、この軌跡上に存在する対象物に
基づいて、連続的に得られる幾つかの視線認識結果を一
つのデータの単位として併合した場合、例えば、併合後
の認識結果(すなわち、該対象物)に対する時間的属性
(タイムスタンプや時間の範囲)を推定し付与する。よ
り具体的には、軌跡と対象物の輪郭との交点におけるタ
イムスタンプを、先の視線認識結果とタイムスタンプの
ペアから補間的に決定すれば良い。
【0160】さらに、このような状況において、同時的
にユーザが音声による指示「これとこれとこれを詳細
に。」を入力したと仮定する。これまでに説明した実施
例と同様にして、タイムスタンプに基づいて、それぞれ
の「これ」を対応する「(視線認識結果の軌跡上の或
る)対象物」として解析することができる。従って、こ
の解析結果に基づいて、対応するコマンドシーケンスが
生成可能である。
にユーザが音声による指示「これとこれとこれを詳細
に。」を入力したと仮定する。これまでに説明した実施
例と同様にして、タイムスタンプに基づいて、それぞれ
の「これ」を対応する「(視線認識結果の軌跡上の或
る)対象物」として解析することができる。従って、こ
の解析結果に基づいて、対応するコマンドシーケンスが
生成可能である。
【0161】このようにして、本実施例によれば、認識
装置が連続的な認識結果を出力するような場合であって
も、これらの認識結果を対象物毎に適切に併合し、さら
に、それらの対象物毎の時間的属性を推定し付与し直す
ことで、この認識結果と、他の認識装置からの認識結果
とを相補的に補完して操作指示内容を解析することがで
きる。
装置が連続的な認識結果を出力するような場合であって
も、これらの認識結果を対象物毎に適切に併合し、さら
に、それらの対象物毎の時間的属性を推定し付与し直す
ことで、この認識結果と、他の認識装置からの認識結果
とを相補的に補完して操作指示内容を解析することがで
きる。
【0162】(2)音声認識装置と図形認識装置 本発明の実施例のさらなる変形例として、入力手段に音
声認識部1と図形認識部143とを用いる場合について
説明する。この場合のハードウエア構成を図14に示
し、機能ブロック図を図15に示す。本実施例では、図
15に示すように、入力手段群121に、さらに図形認
識部143を備える。この図形認識部143は、図14
に示す図形認識装置144により実現される。なお、以
下の説明では、前の実施例と同様である箇所は、説明を
省略している。
声認識部1と図形認識部143とを用いる場合について
説明する。この場合のハードウエア構成を図14に示
し、機能ブロック図を図15に示す。本実施例では、図
15に示すように、入力手段群121に、さらに図形認
識部143を備える。この図形認識部143は、図14
に示す図形認識装置144により実現される。なお、以
下の説明では、前の実施例と同様である箇所は、説明を
省略している。
【0163】ここで、図形認識装置144は、手書きお
よび印刷の文字や図形を認識する装置である。例えば、
ユーザの手にしたペン先の動き(特に、ストローク)に
応じて文字や図形を認識したり、テレビカメラやイメー
ジスキャナなどを利用して取得した画像データから所定
の方式で図形および文字を認識したりする。
よび印刷の文字や図形を認識する装置である。例えば、
ユーザの手にしたペン先の動き(特に、ストローク)に
応じて文字や図形を認識したり、テレビカメラやイメー
ジスキャナなどを利用して取得した画像データから所定
の方式で図形および文字を認識したりする。
【0164】本実施例の図形認識装置144は、ペン型
の小型イメージスキャナのペン先の移動を検出すること
により、該スキャナの移動した軌跡によって定義される
情報を認識する装置である。すなわち、図形認識装置1
44は、例えば、イメージスキャナをユーザが手に持
ち、任意の図形や文字をイメージスキャナのペン先で描
いたり、あらかじめ用意された図面や書面上の図形や文
字をなぞることにより、その文字や図形またはなぞられ
た領域にあらかじめ定義されたデータを認識する。さら
に、図形認識装置144は、その入力のタイムスタンプ
として、該イメージスキャナが読み取りを開始した時
刻、及び、読み取りを終了した時刻を検出し、認識され
た文字とともに出力する。
の小型イメージスキャナのペン先の移動を検出すること
により、該スキャナの移動した軌跡によって定義される
情報を認識する装置である。すなわち、図形認識装置1
44は、例えば、イメージスキャナをユーザが手に持
ち、任意の図形や文字をイメージスキャナのペン先で描
いたり、あらかじめ用意された図面や書面上の図形や文
字をなぞることにより、その文字や図形またはなぞられ
た領域にあらかじめ定義されたデータを認識する。さら
に、図形認識装置144は、その入力のタイムスタンプ
として、該イメージスキャナが読み取りを開始した時
刻、及び、読み取りを終了した時刻を検出し、認識され
た文字とともに出力する。
【0165】ここでは、同時的にユーザが音声による指
示「この地図をこの人にメールしろ。」が入力され、さ
らに、「この地図」との音声入力中にイメージスキャナ
を介して地図の指示入力され、「この人」との音声入力
中にアドレス帳などに記載された人名がイメージスキャ
ナを介して入力された場合について説明する。
示「この地図をこの人にメールしろ。」が入力され、さ
らに、「この地図」との音声入力中にイメージスキャナ
を介して地図の指示入力され、「この人」との音声入力
中にアドレス帳などに記載された人名がイメージスキャ
ナを介して入力された場合について説明する。
【0166】これまでの説明と同様に、認識結果選択部
4は、各入力手段1,143からの認識結果のデータを
分割または併合して、適切に時間的属性を推定し付与し
直す。この場合、地図や人名が複数入力されている場合
でも、時間的属性を用いることで、音声入力のタイムス
タンプと比べて、より近い方の人名へ同定することがで
きる。
4は、各入力手段1,143からの認識結果のデータを
分割または併合して、適切に時間的属性を推定し付与し
直す。この場合、地図や人名が複数入力されている場合
でも、時間的属性を用いることで、音声入力のタイムス
タンプと比べて、より近い方の人名へ同定することがで
きる。
【0167】因みに、地図を入力した際に余計な文字や
図形をイメージスキャナで取り込んだとしても、音声入
力からのデータと連携させることによって、地図の部分
のみを意味解析の対象として扱うことができる。また、
同様にして、アドレス帳のうち人名以外の文字列や罫線
にユーザの興味がないことも音声入力「この人」の意味
解析から認識されるため、イメージスキャナから入力さ
れる雑多な情報についても、適宜要求されている情報を
選択することができ、適切に意味解析できる。
図形をイメージスキャナで取り込んだとしても、音声入
力からのデータと連携させることによって、地図の部分
のみを意味解析の対象として扱うことができる。また、
同様にして、アドレス帳のうち人名以外の文字列や罫線
にユーザの興味がないことも音声入力「この人」の意味
解析から認識されるため、イメージスキャナから入力さ
れる雑多な情報についても、適宜要求されている情報を
選択することができ、適切に意味解析できる。
【0168】本実施例によれば、上記のようにユーザが
無意識的に余計なデータを必要となるデータと一緒に入
力してしまった場合でも、入力に係る時間的属性、およ
び、他の入力装置からの情報を利用して適切な認識や解
析を行う方法を提供することができる。
無意識的に余計なデータを必要となるデータと一緒に入
力してしまった場合でも、入力に係る時間的属性、およ
び、他の入力装置からの情報を利用して適切な認識や解
析を行う方法を提供することができる。
【0169】
【発明の効果】本発明によれば、ユーザは、複数のイン
タフェースをユーザの自由意志で、時間的な排他的選択
性を意識せずに、非同期に(あるいは同時的に)、いわ
ば思い付いたままに操作指示を与えることが可能にな
る。また、日常的に使用している自然言語やGUI等を
組み合わせることにより、言語の形式や入力手順に捕ら
われることなく、自由に操作指示を入力することができ
る。このように、複数の入力手段を介して複数の情報が
入力された場合、本発明のシステムは、入力された複数
の操作指示間の関係を適切に考慮して正しく制御対象機
器を動作させることができる。すなわち、本発明によれ
ば、複数の入力手段にまたがり、個々の入力手段を介す
る情報では意味が不完全または不十分な場合であって
も、複数の入力の操作指示内容を互いに補完すべく意味
解析することで、適切に制御対象機器を制御できる。
タフェースをユーザの自由意志で、時間的な排他的選択
性を意識せずに、非同期に(あるいは同時的に)、いわ
ば思い付いたままに操作指示を与えることが可能にな
る。また、日常的に使用している自然言語やGUI等を
組み合わせることにより、言語の形式や入力手順に捕ら
われることなく、自由に操作指示を入力することができ
る。このように、複数の入力手段を介して複数の情報が
入力された場合、本発明のシステムは、入力された複数
の操作指示間の関係を適切に考慮して正しく制御対象機
器を動作させることができる。すなわち、本発明によれ
ば、複数の入力手段にまたがり、個々の入力手段を介す
る情報では意味が不完全または不十分な場合であって
も、複数の入力の操作指示内容を互いに補完すべく意味
解析することで、適切に制御対象機器を制御できる。
【0170】さらに、本発明によれば、入力および認識
装置から認識結果が一括して処理された場合でも、認識
結果を分割し、分割後のそれぞれの認識結果に対して、
その態様に基づいて適切な入力時刻を付与(または補
正)することで、他の入力および認識装置からの認識結
果との照合の精度を高めることができる。
装置から認識結果が一括して処理された場合でも、認識
結果を分割し、分割後のそれぞれの認識結果に対して、
その態様に基づいて適切な入力時刻を付与(または補
正)することで、他の入力および認識装置からの認識結
果との照合の精度を高めることができる。
【図1】実施例における機能ブロックを表す図である。
【図2】実施例におけるハードウェア構成図である。
【図3】実施例における指示情報テーブルの具体例を示
す模式図である。
す模式図である。
【図4】実施例における制御情報テーブルの具体例を示
す模式図である。
す模式図である。
【図5】実施例における認識結果選択部の処理の概要を
示すフローチャートである。
示すフローチャートである。
【図6】実施例における意味解析部の処理の概要を示す
フローチャートである。
フローチャートである。
【図7】実施例におけるコマンド生成部の処理の概要を
示すフローチャートである。
示すフローチャートである。
【図8】実施例における入力操作の外観を示す説明図で
ある。
ある。
【図9】実施例における分割前の認識情報を保持するワ
ークエリアを示す模式図である。
ークエリアを示す模式図である。
【図10】実施例における分割後の認識情報を保持する
ワークエリアを示す模式図である。
ワークエリアを示す模式図である。
【図11】実施例において、操作指示の結果表示される
画面の例を示す説明図である。
画面の例を示す説明図である。
【図12】実施例におけるハードウェア構成図である。
【図13】実施例における機能ブロックを表す図であ
る。
る。
【図14】実施例におけるハードウェア構成図である。
【図15】実施例における機能ブロックを表す図であ
る。
る。
【図16】実施例における機能ブロックを表す図であ
る。
る。
【図17】実施例におけるハードウェア構成図である。
1…音声認識部、2…タッチパネル部、3…キーボード
部、4…認識結果選択部、5…意味解析部、6…コマン
ド生成部、7…表示部、8…データベース管理システム
部、9…主記憶装置、9a…入力装置の主記憶装置、9
b…コマンド処理装置の主記憶装置、10…指示情報テ
ーブル、11…制御情報テーブル、12…データベー
ス、13…データベースシステム、14…プロセッサ、
14a…入力装置のプロセッサ、14b…コマンド処理
装置のプロセッサ、15…音声入力装置、16…音声認
識装置、17…タッチパネル、18…キーボード、19
…ディスプレイ、25…出力された図形、31,31
a,31b…処理プログラム記憶領域、32…ワークエ
リア、32b…第2のワークエリア、81…接触点、8
2…指、83…図形上の領域、111…ウインド、12
0…情報処理システム、121…入力手段群、122…
出力手段、123,123a…情報処理手段、123b
…処理実行手段、131…データベースシステムの中央
演算処理装置(CPU)、132…データベースシステ
ムの主記憶装置、133…データベースシステムの外部
記憶装置、141…視線認識部、142…視線認識装
置、143…図形認識部、144…図形認識装置、15
0…情報処理システム、151…入力装置、152…コ
マンド処理装置。
部、4…認識結果選択部、5…意味解析部、6…コマン
ド生成部、7…表示部、8…データベース管理システム
部、9…主記憶装置、9a…入力装置の主記憶装置、9
b…コマンド処理装置の主記憶装置、10…指示情報テ
ーブル、11…制御情報テーブル、12…データベー
ス、13…データベースシステム、14…プロセッサ、
14a…入力装置のプロセッサ、14b…コマンド処理
装置のプロセッサ、15…音声入力装置、16…音声認
識装置、17…タッチパネル、18…キーボード、19
…ディスプレイ、25…出力された図形、31,31
a,31b…処理プログラム記憶領域、32…ワークエ
リア、32b…第2のワークエリア、81…接触点、8
2…指、83…図形上の領域、111…ウインド、12
0…情報処理システム、121…入力手段群、122…
出力手段、123,123a…情報処理手段、123b
…処理実行手段、131…データベースシステムの中央
演算処理装置(CPU)、132…データベースシステ
ムの主記憶装置、133…データベースシステムの外部
記憶装置、141…視線認識部、142…視線認識装
置、143…図形認識部、144…図形認識装置、15
0…情報処理システム、151…入力装置、152…コ
マンド処理装置。
Claims (35)
- 【請求項1】外部からの情報の入力を受け付ける入力手
段を複数備える入力装置において、 上記入力手段を介して受け付けられた入力情報の入力時
刻を認識する手段と、 上記入力情報を、あらかじめ定められた解析最小単位に
なるように分割または併合して認識結果とする手段と、 上記認識結果の入力時刻を、入力手段に応じてあらかじ
め定められた推定方法により推定する手段と、 上記複数の入力情報のうち、上記入力時刻の近いものを
まとめて、意味解析単位として出力する手段とを有する
認識結果選択部を、さらに備えることを特徴とする入力
装置。 - 【請求項2】請求項1において、 上記複数の入力手段のうちの少なくとも一部は、入力情
報とともに該入力情報の入力時刻を、上記認識結果選択
部に通知する手段を備え、 上記入力時刻を認識する手段は、 上記入力手段から、入力情報とともに上記入力時刻が通
知されれば、該時刻を該入力情報の入力時刻として認識
し、 上記入力手段から、入力情報とともに入力時刻が通知さ
れなければ、上記入力情報の通知を受け付けた時刻を入
力時刻として認識することを特徴とする入力装置。 - 【請求項3】請求項1において、 上記入力時刻を認識する手段は、 上記入力情報の通知を受け付けた時刻を、該入力情報の
入力時刻として認識することを特徴とする入力装置。 - 【請求項4】請求項1において、 上記推定方法は、 上記分割または併合のもととなった入力情報の入力時刻
と、あらかじめ定められた推定入力速度とを基に、上記
認識結果の入力時刻を推定する方法であることを特徴と
する入力装置。 - 【請求項5】請求項1において、 上記複数の入力手段は、音声入力装置、タッチパネル、
キーボード、マウス、視線認識装置、および図形認識装
置のうちの、少なくともいずれかを含むことを特徴とす
る入力装置。 - 【請求項6】請求項1において、 上記入力情報のうちの少なくとも一つは、自然言語によ
る情報であることを特徴とする入力装置。 - 【請求項7】請求項6において、 上記自然言語による入力情報の入力時刻の推定方法は、 上記自然言語の時間的属性に基づいて、入力時刻を推定
する方法であることを特徴とする入力装置。 - 【請求項8】請求項7において、 上記自然言語の時間的属性は、該自然言語の入力操作に
関する情報、文字列に関する情報、音声に関する情報、
形態素に関する情報、構文に関する情報、前記制御手段
に関する情報、および、前記制御対象機器に関する情報
の内、少なくとも一つであることを特徴とする入力装
置。 - 【請求項9】請求項6において、 上記自然言語による入力情報の解析最小単位は、 上記入力情報の段落、文、文節、単語、形態素、およ
び、音素のいずれかに基づいて決定されることを特徴と
する入力装置。 - 【請求項10】請求項1において、 上記推定方法は、入力操作に関する情報、入力信号の強
弱に関する情報、前記制御手段に関する情報、および、
前記制御対象機器に関する情報の内、少なくとも一つ以
上の情報から、入力時刻を推定する方法であることを特
徴とする入力装置。 - 【請求項11】複数の、外部からの情報の入力を受け付
ける入力手段と、 上記入力手段を介して受け付けられた一以上の入力情報
をまとめて意味解析単位とする認識結果選択部と、 上記意味解析単位に応じてあらかじめ定められた指示情
報を出力する意味解析部と、 上記指示情報に応じてあらかじめ定められた処理を実行
する処理実行手段とを備え、 上記認識結果選択部は、 上記入力手段を介して受け付けられた入力情報の入力時
刻を認識する手段と、 上記入力情報を、あらかじめ定められた解析最小単位に
なるように分割または併合して認識結果とする手段と、 上記認識結果の入力時刻を、入力手段に応じてあらかじ
め定められた推定方法により推定する手段と、 上記複数の入力情報のうち、上記入力時刻の近いものを
まとめて、意味解析単位として上記意味解析部に通知す
る手段とを有することを特徴とする情報処理システム。 - 【請求項12】請求項11において、 上記意味解析単位と、該意味解析単位に対応する上記指
示情報とをあらかじめ保持する指示情報テーブルを、さ
らに備え、 上記意味解析部は、 上記指示情報テーブルを参照して、上記通知された意味
解析単位に対応する上記指示情報を検出し、該検出した
指示情報を出力することを特徴とする情報処理システ
ム。 - 【請求項13】請求項11において、 上記指示情報ごとに、対応する上記処理を示す情報を保
持する制御情報テーブルとを、さらに備え、 上記処理実行手段は、 上記指示情報テーブルを参照して、上記指示情報に対応
する上記処理を検出し、該検出した処理を実行すること
を特徴とする情報処理システム。 - 【請求項14】請求項11において、 上記複数の入力手段のうちの少なくとも一部は、入力情
報とともに該入力情報の入力時刻を上記認識結果選択部
に通知する手段を備え、 上記入力時刻を認識する手段は、 上記入力手段から、入力情報とともに入力時刻が通知さ
れれば、該時刻を該入力情報の入力時刻として認識し、 上記入力手段から、入力情報とともに入力時刻が通知さ
れなければ、上記入力情報の通知を受け付けた時刻を入
力時刻として認識することを特徴とする情報処理システ
ム。 - 【請求項15】請求項11において、 上記入力時刻を認識する手段は、 上記入力情報の通知を受け付けた時刻を、該入力情報の
入力時刻として認識することを特徴とする情報処理シス
テム。 - 【請求項16】請求項11において、 上記推定方法は、 上記分割または併合のもととなった入力情報の入力時刻
と、あらかじめ定められた推定入力速度とを基に、上記
認識結果の入力時刻を推定する方法であることを特徴と
する情報処理システム。 - 【請求項17】請求項11において、 上記複数の入力手段は、音声入力装置、タッチパネル、
キーボード、マウス、視線認識装置、および図形認識装
置のうちの、少なくともいずれかを含むことを特徴とす
る情報処理システム。 - 【請求項18】請求項11において、 コマンドに応じて作動する一以上の制御対象機器を、さ
らに備え、 上記処理実行手段の実行する処理は、 上記指示情報に応じてあらかじめ定められた上記コマン
ドを、上記制御対象機器に発行することを含むことを特
徴とする情報処理システム。 - 【請求項19】請求項18において、 上記制御対象機器は、表示装置、データベースシステ
ム、印書装置、ビデオテープレコーダ、音声合成装置、
意思決定支援システム、エキスパートシステム、オペレ
ーティングシステム、スケジュール管理システム、アド
レス管理システム、ゲームシステム、およびナビゲーシ
ョンシステムのうちの、少なくともいずれかを含むこと
を特徴とする情報処理システム。 - 【請求項20】請求項11において、 上記意味解析部は、上記意味解析単位に応じてあらかじ
め定められた複数の指示情報の候補のうち、最も優先順
位の高いものを指示情報として出力することを特徴とす
る情報処理システム。 - 【請求項21】請求項11において、 上記処理実行手段は、上記指示情報に応じてあらかじめ
定められた複数の処理の候補のうち、最も優先順位の高
いものを実行することを特徴とする情報処理システム。 - 【請求項22】請求項11において、 表示装置をさらに備え、 上記意味解析部は、 上記指示情報の候補を上記表示装置に表示し、上記入力
手段を介して、該候補のうちのいずれかの選択を受け付
けて、選択された上記候補を出力することを特徴とする
情報処理システム。 - 【請求項23】請求項11において、 表示装置をさらに備え、 上記処理実行手段は、 上記処理の候補を、上記表示装置に表示し、上記入力手
段を介して、該候補のうちのいずれかの選択を受け付け
て、選択された上記候補を実行することを特徴とする情
報処理システム。 - 【請求項24】請求項11において、 表示装置をさらに備え、 上記認識結果選択部は、上記意味解析単位を上記表示装
置に表示することを特徴とする情報処理システム。 - 【請求項25】請求項11において、 表示装置をさらに備え、 上記意味解析部は、上記指示情報を上記表示装置に表示
することを特徴とする情報処理システム。 - 【請求項26】請求項11において、 表示装置をさらに備え、 上記処理実行手段は、上記実行する処理の内容を示す情
報を、上記表示装置に表示することを特徴とする情報処
理システム。 - 【請求項27】請求項11において、 上記入力情報のうちの少なくとも一つは、自然言語によ
る情報であることを特徴とする情報処理システム。 - 【請求項28】請求項27において、 上記自然言語による入力情報の入力時刻の推定方法は、 上記自然言語の時間的属性に基づいて、入力時刻を推定
する方法であることを特徴とする情報処理システム。 - 【請求項29】請求項28において、 上記自然言語の時間的属性は、該自然言語の入力操作に
関する情報、文字列に関する情報、音声に関する情報、
形態素に関する情報、構文に関する情報、前記制御手段
に関する情報、および、前記制御対象機器に関する情報
の内、少なくとも一つであることを特徴とする情報処理
システム。 - 【請求項30】請求項27において、 上記自然言語による入力情報の解析最小単位は、 上記入力情報の段落、文、文節、単語、形態素、およ
び、音素のいずれかに基づいて決定されることを特徴と
する情報処理システム。 - 【請求項31】請求項11において、 上記推定方法は、入力操作に関する情報、入力信号の強
弱に関する情報、前記制御手段に関する情報、および、
前記制御対象機器に関する情報の内、少なくとも一つ以
上の情報から、入力時刻を推定する方法であることを特
徴とする情報処理システム。 - 【請求項32】複数の入力手段を介して受け付けた複数
の入力情報の管理方法において、 上記入力情報の入力時刻を認識するステップと、 上記入力情報を、あらかじめ定められた解析最小単位に
なるように分割または併合して認識結果とするステップ
と、 上記認識結果の入力時刻を、入力手段に応じてあらかじ
め定められた推定方法により推定するステップと、 上記複数の入力情報のうち、上記入力時刻の近いものを
まとめて、意味解析単位として管理するステップとを有
することを特徴とする入力情報の管理方法。 - 【請求項33】入力情報に該入力情報の入力時刻を付
し、 複数の上記入力情報のうち、該入力情報の上記入力時刻
が近いものをまとめることにより、入力内容を特定する
ことを特徴とする入力方法。 - 【請求項34】請求項1において、 上記入力時刻は、入力開始時刻および入力終了時刻のい
ずれかであることを特徴とする入力装置。 - 【請求項35】請求項11において、 上記入力時刻は、入力開始時刻および入力終了時刻のい
ずれかであることを特徴とする情報処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06411795A JP3363283B2 (ja) | 1995-03-23 | 1995-03-23 | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 |
US08/620,923 US5884249A (en) | 1995-03-23 | 1996-03-22 | Input device, inputting method, information processing system, and input information managing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06411795A JP3363283B2 (ja) | 1995-03-23 | 1995-03-23 | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08263258A true JPH08263258A (ja) | 1996-10-11 |
JP3363283B2 JP3363283B2 (ja) | 2003-01-08 |
Family
ID=13248812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06411795A Expired - Fee Related JP3363283B2 (ja) | 1995-03-23 | 1995-03-23 | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5884249A (ja) |
JP (1) | JP3363283B2 (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000019307A1 (fr) * | 1998-09-25 | 2000-04-06 | Hitachi, Ltd. | Procede et dispositif d'interaction de traitement |
JP2000099099A (ja) * | 1998-09-22 | 2000-04-07 | Sharp Corp | データ再生装置 |
US7194742B2 (en) | 2001-06-22 | 2007-03-20 | Seiko Epson Corporation | Information management system and information management method for network |
US7630901B2 (en) | 2004-06-29 | 2009-12-08 | Canon Kabushiki Kaisha | Multimodal input method |
JPWO2008093682A1 (ja) * | 2007-01-31 | 2010-05-20 | アルプス電気株式会社 | 静電容量式モーション検出装置及びそれを用いた入力装置 |
US7873508B2 (en) | 2005-05-25 | 2011-01-18 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for supporting communication through translation between languages |
JP2011172362A (ja) * | 2010-02-17 | 2011-09-01 | Toshiba Corp | 保護制御装置 |
JP2013518316A (ja) * | 2010-01-21 | 2013-05-20 | トビー・テクノロジー・アーベー | アイトラッカーベースのコンテキストアクション |
JP2015153324A (ja) * | 2014-02-18 | 2015-08-24 | 株式会社Nttドコモ | 情報検索装置、情報検索方法及び情報検索プログラム |
WO2015163068A1 (ja) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2017037658A (ja) * | 2009-02-20 | 2017-02-16 | ボイスボックス テクノロジーズ コーポレーション | 自然言語音声サービス環境においてマルチモーダル機器対話を処理するシステム及び方法 |
JP2017072875A (ja) * | 2015-10-05 | 2017-04-13 | 哲明 仲村 | 情報処理装置、情報処理方法、データ構造およびプログラム |
US9898459B2 (en) | 2014-09-16 | 2018-02-20 | Voicebox Technologies Corporation | Integration of domain information into state transitions of a finite state transducer for natural language processing |
US10089984B2 (en) | 2008-05-27 | 2018-10-02 | Vb Assets, Llc | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US10134060B2 (en) | 2007-02-06 | 2018-11-20 | Vb Assets, Llc | System and method for delivering targeted advertisements and/or providing natural language processing based on advertisements |
US10229673B2 (en) | 2014-10-15 | 2019-03-12 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
US10297249B2 (en) | 2006-10-16 | 2019-05-21 | Vb Assets, Llc | System and method for a cooperative conversational voice user interface |
US10331784B2 (en) | 2016-07-29 | 2019-06-25 | Voicebox Technologies Corporation | System and method of disambiguating natural language processing requests |
US10347248B2 (en) | 2007-12-11 | 2019-07-09 | Voicebox Technologies Corporation | System and method for providing in-vehicle services via a natural language voice user interface |
US10430863B2 (en) | 2014-09-16 | 2019-10-01 | Vb Assets, Llc | Voice commerce |
US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
WO2019202804A1 (ja) * | 2018-04-19 | 2019-10-24 | ソニー株式会社 | 音声処理装置および音声処理方法 |
JP2019185062A (ja) * | 2018-09-10 | 2019-10-24 | 百度在線網絡技術(北京)有限公司 | 音声インタラクション方法、端末機器及びコンピュータ読み取り可能な記憶媒体 |
US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6249710B1 (en) * | 1996-05-14 | 2001-06-19 | Microwave Science, Llc | Method and apparatus for managing the thermal activity of a microwave oven |
US7297856B2 (en) * | 1996-07-10 | 2007-11-20 | Sitrick David H | System and methodology for coordinating musical communication and display |
US7989689B2 (en) | 1996-07-10 | 2011-08-02 | Bassilic Technologies Llc | Electronic music stand performer subsystems and music communication methodologies |
US6556963B1 (en) * | 1997-09-24 | 2003-04-29 | International Business Machines Corporation | User state sensitive system and method for nutrient analysis using natural language interface |
DE69919619T2 (de) * | 1998-03-30 | 2005-09-08 | Sharp K.K. | Kochgerät |
US6049281A (en) * | 1998-09-29 | 2000-04-11 | Osterweil; Josef | Method and apparatus for monitoring movements of an individual |
US6167376A (en) * | 1998-12-21 | 2000-12-26 | Ditzik; Richard Joseph | Computer system with integrated telephony, handwriting and speech recognition functions |
JP2000194559A (ja) * | 1998-12-24 | 2000-07-14 | Canon Inc | 情報処理装置及びその方法、及びそのプログラムを格納した記憶媒体 |
JP3514372B2 (ja) * | 1999-06-04 | 2004-03-31 | 日本電気株式会社 | マルチモーダル対話装置 |
IL130847A0 (en) * | 1999-07-08 | 2001-01-28 | Shlomo Orbach | Translator with a camera |
US6609089B1 (en) * | 1999-08-30 | 2003-08-19 | Lucent Technologies Inc. | Method and apparatus for providing interactive services with multiple interfaces |
US6529863B1 (en) * | 1999-08-30 | 2003-03-04 | Lucent Technologies Inc. | Method and apparatus for providing interactive services with multiple interfaces |
JP4698107B2 (ja) * | 1999-11-26 | 2011-06-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 改良型ベイズ・カルマン時間推定装置及び方法 |
US7028269B1 (en) * | 2000-01-20 | 2006-04-11 | Koninklijke Philips Electronics N.V. | Multi-modal video target acquisition and re-direction system and method |
US20020067245A1 (en) * | 2000-06-20 | 2002-06-06 | Campbell Douglas C. | Voice Activated remote keyless entry fob |
US7069215B1 (en) | 2001-07-12 | 2006-06-27 | At&T Corp. | Systems and methods for extracting meaning from multimodal inputs using finite-state devices |
US6868383B1 (en) | 2001-07-12 | 2005-03-15 | At&T Corp. | Systems and methods for extracting meaning from multimodal inputs using finite-state devices |
CA2397703C (en) * | 2001-08-15 | 2009-04-28 | At&T Corp. | Systems and methods for abstracting portions of information that is represented with finite-state devices |
FI20011680A (fi) * | 2001-08-21 | 2003-02-22 | Bookit Oy | Ajanvarausmenetelmä ja -järjestelmä |
ATE550755T1 (de) * | 2001-08-28 | 2012-04-15 | Panasonic Corp | Empfangsverfahren für funkübertragungen |
US20030046084A1 (en) * | 2001-08-28 | 2003-03-06 | Blair Wyman | Method and apparatus for providing location-specific responses in an automated voice response system |
US7031907B1 (en) * | 2001-10-15 | 2006-04-18 | Nortel Networks Limited | Tool for constructing voice recognition grammars |
US7036080B1 (en) * | 2001-11-30 | 2006-04-25 | Sap Labs, Inc. | Method and apparatus for implementing a speech interface for a GUI |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US20030171930A1 (en) * | 2002-03-07 | 2003-09-11 | Junqua Jean-Claude | Computer telephony system to access secure resources |
US7158675B2 (en) * | 2002-05-14 | 2007-01-02 | Microsoft Corporation | Interfacing with ink |
US7257575B1 (en) | 2002-10-24 | 2007-08-14 | At&T Corp. | Systems and methods for generating markup-language based expressions from multi-modal and unimodal inputs |
JP2004199478A (ja) * | 2002-12-19 | 2004-07-15 | Fuji Xerox Co Ltd | 自然語入力装置及び自然語入力プログラム |
JP4027269B2 (ja) * | 2003-06-02 | 2007-12-26 | キヤノン株式会社 | 情報処理方法及び装置 |
GB2402507A (en) * | 2003-06-03 | 2004-12-08 | Canon Kk | A user input interpreter and a method of interpreting user input |
CA2431183A1 (en) * | 2003-06-05 | 2004-12-05 | Atc Dynamics Inc. | Method and system for natural language recognition command interface and data management |
TWI235358B (en) * | 2003-11-21 | 2005-07-01 | Acer Inc | Interactive speech method and system thereof |
US7526735B2 (en) * | 2003-12-15 | 2009-04-28 | International Business Machines Corporation | Aiding visual search in a list of learnable speech commands |
US20050197843A1 (en) * | 2004-03-07 | 2005-09-08 | International Business Machines Corporation | Multimodal aggregating unit |
US7640162B2 (en) * | 2004-12-14 | 2009-12-29 | Microsoft Corporation | Semantic canvas |
US7568069B2 (en) * | 2005-07-29 | 2009-07-28 | Lsi Corporation | Method for creating a large-scale storage array system out of multiple mid-range storage arrays |
KR100632400B1 (ko) * | 2005-11-11 | 2006-10-11 | 한국전자통신연구원 | 음성 인식을 이용한 입출력 장치 및 그 방법 |
CN101331036B (zh) * | 2005-12-16 | 2011-04-06 | 松下电器产业株式会社 | 移动体用输入装置及方法 |
US7848917B2 (en) * | 2006-03-30 | 2010-12-07 | Microsoft Corporation | Common word graph based multimodal input |
US20080086311A1 (en) * | 2006-04-11 | 2008-04-10 | Conwell William Y | Speech Recognition, and Related Systems |
US10437459B2 (en) * | 2007-01-07 | 2019-10-08 | Apple Inc. | Multitouch data fusion |
US7912724B1 (en) * | 2007-01-18 | 2011-03-22 | Adobe Systems Incorporated | Audio comparison using phoneme matching |
US8069044B1 (en) * | 2007-03-16 | 2011-11-29 | Adobe Systems Incorporated | Content matching using phoneme comparison and scoring |
US9123341B2 (en) * | 2009-03-18 | 2015-09-01 | Robert Bosch Gmbh | System and method for multi-modal input synchronization and disambiguation |
US8509396B2 (en) * | 2009-09-24 | 2013-08-13 | International Business Machines Corporation | Automatic creation of complex conversational natural language call routing system for call centers |
US8977972B2 (en) * | 2009-12-31 | 2015-03-10 | Intel Corporation | Using multi-modal input to control multiple objects on a display |
WO2013170383A1 (en) | 2012-05-16 | 2013-11-21 | Xtreme Interactions Inc. | System, device and method for processing interlaced multimodal user input |
US9047602B2 (en) * | 2012-06-08 | 2015-06-02 | GM Global Technology Operations LLC | In-vehicle mobile transactions |
US9244694B2 (en) | 2012-12-27 | 2016-01-26 | Intel Corporation | Executing a command within a transport mechanism based on a get and set architecture |
US9805718B2 (en) * | 2013-04-19 | 2017-10-31 | Sri Internaitonal | Clarifying natural language input using targeted questions |
US9865255B2 (en) * | 2013-08-29 | 2018-01-09 | Panasonic Intellectual Property Corporation Of America | Speech recognition method and speech recognition apparatus |
US20150088525A1 (en) * | 2013-09-24 | 2015-03-26 | Tencent Technology (Shenzhen) Co., Ltd. | Method and apparatus for controlling applications and operations on a terminal |
US9602616B2 (en) * | 2013-11-06 | 2017-03-21 | Neustar, Inc. | System and method for facilitating routing |
US9966079B2 (en) * | 2014-03-24 | 2018-05-08 | Lenovo (Singapore) Pte. Ltd. | Directing voice input based on eye tracking |
US9875081B2 (en) | 2015-09-21 | 2018-01-23 | Amazon Technologies, Inc. | Device selection for providing a response |
US11221823B2 (en) * | 2017-05-22 | 2022-01-11 | Samsung Electronics Co., Ltd. | System and method for context-based interaction for electronic devices |
CN110719865B (zh) | 2017-06-13 | 2023-02-24 | 松下知识产权经营株式会社 | 驾驶辅助方法、驾驶辅助程序以及车辆控制装置 |
US10482904B1 (en) | 2017-08-15 | 2019-11-19 | Amazon Technologies, Inc. | Context driven device arbitration |
KR102630662B1 (ko) * | 2018-04-02 | 2024-01-30 | 삼성전자주식회사 | 어플리케이션 실행 방법 및 이를 지원하는 전자 장치 |
KR102669100B1 (ko) * | 2018-11-02 | 2024-05-27 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP7234612B2 (ja) * | 2018-11-30 | 2023-03-08 | 株式会社リコー | 情報処理システム及び情報処理方法 |
JP2022041166A (ja) * | 2020-08-31 | 2022-03-11 | コニカミノルタ株式会社 | 画像読取装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04318900A (ja) * | 1991-04-18 | 1992-11-10 | Oki Electric Ind Co Ltd | 多方向同時収音式音声認識方法 |
JPH05108302A (ja) * | 1991-10-14 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 音声と指示動作を用いた情報入力方法 |
JPH06131437A (ja) * | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
JPH06332660A (ja) * | 1993-05-20 | 1994-12-02 | Canon Inc | 情報処理装置 |
JPH08234789A (ja) * | 1995-02-27 | 1996-09-13 | Sharp Corp | 統合認識対話装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1121489A (en) * | 1979-05-30 | 1982-04-06 | Northern Telecom Limited | Lcds (liquid crystal displays) controlled by mims (metal-insulator-metal) devices |
JPS6433682A (en) * | 1987-07-29 | 1989-02-03 | Brother Ind Ltd | Voice input and touch input compatible image display device |
JPS6441922A (en) * | 1987-08-07 | 1989-02-14 | Nec Corp | Touch input device for using voice input in combination |
JPH02186421A (ja) * | 1989-01-12 | 1990-07-20 | Fujitsu Ltd | ワークステーション |
US5386494A (en) * | 1991-12-06 | 1995-01-31 | Apple Computer, Inc. | Method and apparatus for controlling a speech recognition function using a cursor control device |
JP2973726B2 (ja) * | 1992-08-31 | 1999-11-08 | 株式会社日立製作所 | 情報処理装置 |
WO1995025326A1 (en) * | 1994-03-17 | 1995-09-21 | Voice Powered Technology International, Inc. | Voice/pointer operated system |
-
1995
- 1995-03-23 JP JP06411795A patent/JP3363283B2/ja not_active Expired - Fee Related
-
1996
- 1996-03-22 US US08/620,923 patent/US5884249A/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04318900A (ja) * | 1991-04-18 | 1992-11-10 | Oki Electric Ind Co Ltd | 多方向同時収音式音声認識方法 |
JPH05108302A (ja) * | 1991-10-14 | 1993-04-30 | Nippon Telegr & Teleph Corp <Ntt> | 音声と指示動作を用いた情報入力方法 |
JPH06131437A (ja) * | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
JPH06332660A (ja) * | 1993-05-20 | 1994-12-02 | Canon Inc | 情報処理装置 |
JPH08234789A (ja) * | 1995-02-27 | 1996-09-13 | Sharp Corp | 統合認識対話装置 |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000099099A (ja) * | 1998-09-22 | 2000-04-07 | Sharp Corp | データ再生装置 |
WO2000019307A1 (fr) * | 1998-09-25 | 2000-04-06 | Hitachi, Ltd. | Procede et dispositif d'interaction de traitement |
US7194742B2 (en) | 2001-06-22 | 2007-03-20 | Seiko Epson Corporation | Information management system and information management method for network |
US7630901B2 (en) | 2004-06-29 | 2009-12-08 | Canon Kabushiki Kaisha | Multimodal input method |
US7873508B2 (en) | 2005-05-25 | 2011-01-18 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for supporting communication through translation between languages |
US10515628B2 (en) | 2006-10-16 | 2019-12-24 | Vb Assets, Llc | System and method for a cooperative conversational voice user interface |
US10297249B2 (en) | 2006-10-16 | 2019-05-21 | Vb Assets, Llc | System and method for a cooperative conversational voice user interface |
US10510341B1 (en) | 2006-10-16 | 2019-12-17 | Vb Assets, Llc | System and method for a cooperative conversational voice user interface |
US10755699B2 (en) | 2006-10-16 | 2020-08-25 | Vb Assets, Llc | System and method for a cooperative conversational voice user interface |
US11222626B2 (en) | 2006-10-16 | 2022-01-11 | Vb Assets, Llc | System and method for a cooperative conversational voice user interface |
JPWO2008093682A1 (ja) * | 2007-01-31 | 2010-05-20 | アルプス電気株式会社 | 静電容量式モーション検出装置及びそれを用いた入力装置 |
US10134060B2 (en) | 2007-02-06 | 2018-11-20 | Vb Assets, Llc | System and method for delivering targeted advertisements and/or providing natural language processing based on advertisements |
US11080758B2 (en) | 2007-02-06 | 2021-08-03 | Vb Assets, Llc | System and method for delivering targeted advertisements and/or providing natural language processing based on advertisements |
US10347248B2 (en) | 2007-12-11 | 2019-07-09 | Voicebox Technologies Corporation | System and method for providing in-vehicle services via a natural language voice user interface |
US10553216B2 (en) | 2008-05-27 | 2020-02-04 | Oracle International Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US10089984B2 (en) | 2008-05-27 | 2018-10-02 | Vb Assets, Llc | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US9953649B2 (en) | 2009-02-20 | 2018-04-24 | Voicebox Technologies Corporation | System and method for processing multi-modal device interactions in a natural language voice services environment |
JP2017037658A (ja) * | 2009-02-20 | 2017-02-16 | ボイスボックス テクノロジーズ コーポレーション | 自然言語音声サービス環境においてマルチモーダル機器対話を処理するシステム及び方法 |
US10553213B2 (en) | 2009-02-20 | 2020-02-04 | Oracle International Corporation | System and method for processing multi-modal device interactions in a natural language voice services environment |
US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
JP2013518316A (ja) * | 2010-01-21 | 2013-05-20 | トビー・テクノロジー・アーベー | アイトラッカーベースのコンテキストアクション |
US10353462B2 (en) | 2010-01-21 | 2019-07-16 | Tobii Ab | Eye tracker based contextual action |
JP2011172362A (ja) * | 2010-02-17 | 2011-09-01 | Toshiba Corp | 保護制御装置 |
JP2015153324A (ja) * | 2014-02-18 | 2015-08-24 | 株式会社Nttドコモ | 情報検索装置、情報検索方法及び情報検索プログラム |
WO2015163068A1 (ja) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US10430863B2 (en) | 2014-09-16 | 2019-10-01 | Vb Assets, Llc | Voice commerce |
US10216725B2 (en) | 2014-09-16 | 2019-02-26 | Voicebox Technologies Corporation | Integration of domain information into state transitions of a finite state transducer for natural language processing |
US9898459B2 (en) | 2014-09-16 | 2018-02-20 | Voicebox Technologies Corporation | Integration of domain information into state transitions of a finite state transducer for natural language processing |
US11087385B2 (en) | 2014-09-16 | 2021-08-10 | Vb Assets, Llc | Voice commerce |
US10229673B2 (en) | 2014-10-15 | 2019-03-12 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
JP2017072875A (ja) * | 2015-10-05 | 2017-04-13 | 哲明 仲村 | 情報処理装置、情報処理方法、データ構造およびプログラム |
US10331784B2 (en) | 2016-07-29 | 2019-06-25 | Voicebox Technologies Corporation | System and method of disambiguating natural language processing requests |
WO2019202804A1 (ja) * | 2018-04-19 | 2019-10-24 | ソニー株式会社 | 音声処理装置および音声処理方法 |
JP2019185062A (ja) * | 2018-09-10 | 2019-10-24 | 百度在線網絡技術(北京)有限公司 | 音声インタラクション方法、端末機器及びコンピュータ読み取り可能な記憶媒体 |
US11176938B2 (en) | 2018-09-10 | 2021-11-16 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and storage medium for controlling game execution using voice intelligent interactive system |
Also Published As
Publication number | Publication date |
---|---|
US5884249A (en) | 1999-03-16 |
JP3363283B2 (ja) | 2003-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3363283B2 (ja) | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 | |
US8886521B2 (en) | System and method of dictation for a speech recognition command system | |
EP0607615B1 (en) | Speech recognition interface system suitable for window systems and speech mail systems | |
Johnston et al. | MATCH: An architecture for multimodal dialogue systems | |
US8150699B2 (en) | Systems and methods of a structured grammar for a speech recognition command system | |
Maybury et al. | Readings in intelligent user interfaces | |
US7548859B2 (en) | Method and system for assisting users in interacting with multi-modal dialog systems | |
US5781179A (en) | Multimodal information inputting method and apparatus for embodying the same | |
CN104090652A (zh) | 一种语音输入方法和装置 | |
Mankoff et al. | OOPS: a toolkit supporting mediation techniques for resolving ambiguity in recognition-based interfaces | |
KR20010022524A (ko) | 정보처리장치 및 방법과 정보제공매체 | |
WO2013170383A1 (en) | System, device and method for processing interlaced multimodal user input | |
CA2717265A1 (en) | Method system and apparatus for entering text on a computing device | |
JP3476007B2 (ja) | 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体 | |
US6745165B2 (en) | Method and apparatus for recognizing from here to here voice command structures in a finite grammar speech recognition system | |
JPH06266779A (ja) | 制御装置 | |
Cohen et al. | Multimodal speech and pen interfaces | |
CN1275174C (zh) | 具有语音辨识辅助功能的中文输入方法及其*** | |
JP2003271389A (ja) | 自然言語によるソフトウェア・オブジェクトの操作方法及びそのためのプログラム | |
JP4220151B2 (ja) | 音声対話装置 | |
CN1965349A (zh) | 多形式的非歧意性语音识别 | |
JPH1124813A (ja) | マルチモーダル入力統合システム | |
JP2004295578A (ja) | 翻訳装置 | |
CN109871195B (zh) | 可语音输入及识别的控制方法及装置 | |
JPS60146327A (ja) | 計算機対話方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |