JPH0863319A - 情報処理装置 - Google Patents
情報処理装置Info
- Publication number
- JPH0863319A JPH0863319A JP19923794A JP19923794A JPH0863319A JP H0863319 A JPH0863319 A JP H0863319A JP 19923794 A JP19923794 A JP 19923794A JP 19923794 A JP19923794 A JP 19923794A JP H0863319 A JPH0863319 A JP H0863319A
- Authority
- JP
- Japan
- Prior art keywords
- information
- input
- voice
- input information
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 ディスプレイ上にビジュアル化されていない
ために直接操作できない部分への操作や、ビジュアル化
されているが該当する選択対象物が複数ある場合の操作
を実行可能にするために、複数の入力手段を同時に組み
合わせて入力可能とする。 【構成】 マイクロフォン１０１などの音声入力手段
と、ペン１０２あるいはマウスなどのポインティング入
力手段と、コマンドを実行するコマンド実行手段１０９
と、コマンドに対応して画面表示を変更する画面表示手
段１１０と、ディスプレイなどの画面出力を行なう画面
出力手段１１１を有する情報処理装置において、音声入
力情報および前記ポインティング入力情報を統合して解
釈を行なう情報統合手段１０８を設け、利用者が音声入
力手段とポインティング入力手段を用いて行なう、画面
上の不可視部分の操作や複数対象物の一括選択操作など
の、非直接操作を含む操作を解釈する機能を備えた情報
処理装置。
ために直接操作できない部分への操作や、ビジュアル化
されているが該当する選択対象物が複数ある場合の操作
を実行可能にするために、複数の入力手段を同時に組み
合わせて入力可能とする。 【構成】 マイクロフォン１０１などの音声入力手段
と、ペン１０２あるいはマウスなどのポインティング入
力手段と、コマンドを実行するコマンド実行手段１０９
と、コマンドに対応して画面表示を変更する画面表示手
段１１０と、ディスプレイなどの画面出力を行なう画面
出力手段１１１を有する情報処理装置において、音声入
力情報および前記ポインティング入力情報を統合して解
釈を行なう情報統合手段１０８を設け、利用者が音声入
力手段とポインティング入力手段を用いて行なう、画面
上の不可視部分の操作や複数対象物の一括選択操作など
の、非直接操作を含む操作を解釈する機能を備えた情報
処理装置。
Description
【０００１】
【産業上の利用分野】本発明は、パソコン、ワークステ
ーション、ワープロ等のＯＡ機器に搭載されたファイル
管理や文書編集、図形編集等のユーザインタフェースに
関し、ユーザにとって使い勝手のよい情報入力方法を提
供する。
ーション、ワープロ等のＯＡ機器に搭載されたファイル
管理や文書編集、図形編集等のユーザインタフェースに
関し、ユーザにとって使い勝手のよい情報入力方法を提
供する。
【０００２】
【従来の技術】従来のグラフィカル・ユーザインタフェ
ースでは、文字情報をビジュアル化して直接操作できる
ようにすることにより簡単な操作を実現している。その
際、入力手段としてはマウス、ペン等のポインティング
デバイス、あるいは文字を入力するためのキーボード、
音声等による入力を単独でしか受け付けない。一部で、
キーボードの特定のキーを押下しながらポインティング
デバイスでドラッグアンドドロップすることにより複数
対象物の操作が可能なインタフェースもあり、複数の入
力手段を同時に使う操作方法に対処している例も見られ
るが、キーボードを文字入力手段の主体とした従来のイ
ンタフェースにおいて、このような操作方法は熟練して
いない利用者にとっては不自然であり覚えにくい。
ースでは、文字情報をビジュアル化して直接操作できる
ようにすることにより簡単な操作を実現している。その
際、入力手段としてはマウス、ペン等のポインティング
デバイス、あるいは文字を入力するためのキーボード、
音声等による入力を単独でしか受け付けない。一部で、
キーボードの特定のキーを押下しながらポインティング
デバイスでドラッグアンドドロップすることにより複数
対象物の操作が可能なインタフェースもあり、複数の入
力手段を同時に使う操作方法に対処している例も見られ
るが、キーボードを文字入力手段の主体とした従来のイ
ンタフェースにおいて、このような操作方法は熟練して
いない利用者にとっては不自然であり覚えにくい。
【０００３】
【発明が解決しようとする課題】上記従来技術では、多
くの状況で単一の入力手段による入力しか受け付けな
い。従って、ビジュアル化されていないために直接操作
できない部分への操作や、ビジュアル化されているが該
当する選択対象物が複数ある場合のように選択が面倒な
状況での操作を実行可能にするには、メニューの複雑化
が避けられない。そこで、本発明の課題は、単一の入力
手段のみでは操作しにくい上記の様な状況において、操
作を自然かつ簡単にするために、利用者の熟練を要する
入力手段であるキーボードの利用を極力避けて、かつ複
数の入力手段を同時に組み合わせて利用した入力を受け
付ける様にすることである。
くの状況で単一の入力手段による入力しか受け付けな
い。従って、ビジュアル化されていないために直接操作
できない部分への操作や、ビジュアル化されているが該
当する選択対象物が複数ある場合のように選択が面倒な
状況での操作を実行可能にするには、メニューの複雑化
が避けられない。そこで、本発明の課題は、単一の入力
手段のみでは操作しにくい上記の様な状況において、操
作を自然かつ簡単にするために、利用者の熟練を要する
入力手段であるキーボードの利用を極力避けて、かつ複
数の入力手段を同時に組み合わせて利用した入力を受け
付ける様にすることである。
【０００４】
【課題を解決するための手段】上記の問題を解決するた
めに、少なくともマイクロフォンなどの音声入力手段
と、ペンあるいはマウスなどのポインティング入力手段
と、利用者の入力音声を音声認識する音声認識手段と、
ポインティング入力手段を用いて入力されたポインティ
ング入力情報を検知するポインティング入力情報検知手
段と、コマンドを実行するコマンド実行手段と、該コマ
ンドに対応して画面表示を変更する画面表示手段を有す
る情報処理装置において、音声入力情報およびポインテ
ィング入力情報を統合して解釈を行なう情報統合手段を
備えた。
めに、少なくともマイクロフォンなどの音声入力手段
と、ペンあるいはマウスなどのポインティング入力手段
と、利用者の入力音声を音声認識する音声認識手段と、
ポインティング入力手段を用いて入力されたポインティ
ング入力情報を検知するポインティング入力情報検知手
段と、コマンドを実行するコマンド実行手段と、該コマ
ンドに対応して画面表示を変更する画面表示手段を有す
る情報処理装置において、音声入力情報およびポインテ
ィング入力情報を統合して解釈を行なう情報統合手段を
備えた。
【０００５】
【作用】少なくともマイクロフォンなどの音声入力手段
と、ペンあるいはマウスなどのポインティング入力手段
と、利用者の入力音声を音声認識する音声認識手段と、
ポインティング入力手段を用いて入力されたポインティ
ング入力情報を検知するポインティング入力情報検知手
段と、コマンドを実行するコマンド実行手段と、該コマ
ンドに対応して画面表示を変更する画面表示手段を有す
る情報処理装置において、音声入力情報およびポインテ
ィング入力情報を統合して解釈を行なう情報統合手段を
備えることにより、利用者によって前記音声入力手段と
前記ポインティング入力手段を用いて同時に入力された
音声入力情報とポインティング入力情報を統合して解釈
し、単一入力手段では実現困難な画面上の不可視部分の
操作や複数オブジェクトの一括選択操作などの、非直接
操作を含む操作を処理することが可能になる。
と、ペンあるいはマウスなどのポインティング入力手段
と、利用者の入力音声を音声認識する音声認識手段と、
ポインティング入力手段を用いて入力されたポインティ
ング入力情報を検知するポインティング入力情報検知手
段と、コマンドを実行するコマンド実行手段と、該コマ
ンドに対応して画面表示を変更する画面表示手段を有す
る情報処理装置において、音声入力情報およびポインテ
ィング入力情報を統合して解釈を行なう情報統合手段を
備えることにより、利用者によって前記音声入力手段と
前記ポインティング入力手段を用いて同時に入力された
音声入力情報とポインティング入力情報を統合して解釈
し、単一入力手段では実現困難な画面上の不可視部分の
操作や複数オブジェクトの一括選択操作などの、非直接
操作を含む操作を処理することが可能になる。
【０００６】
【実施例】以下、図を用いて実施例を詳細に説明する。
ここでは、特に情報処理装置としてパソコンなどにおい
てファイル管理を行なうためのグラフィカル・ユーザイ
ンタフェースを想定して説明を行なう。ただし、本発明
は、該インタフェースに限らずデータベース検索、図形
編集、文書編集などのユーザインタフェース一般への応
用が可能である。
ここでは、特に情報処理装置としてパソコンなどにおい
てファイル管理を行なうためのグラフィカル・ユーザイ
ンタフェースを想定して説明を行なう。ただし、本発明
は、該インタフェースに限らずデータベース検索、図形
編集、文書編集などのユーザインタフェース一般への応
用が可能である。
【０００７】図１は、本発明の情報処理装置の一実施例
を示すブロック図である。図１において、音声入力手段
１０１は音声を入力するのに用いられるマイクロフォン
などの道具である。音声検出手段１０３は、音声入力手
段１０１により入力された情報から利用者の音声区間と
入力時刻を検出する手段である。音声認識手段１０４
は、検出された利用者の音声を分析し、相当する単語列
を出力する手段である。音声入力情報解析手段１０５
は、音声入力情報を、意味を持つ単位に分割あるいは統
合し、意味情報を解析する手段である。ペン入力手段１
０２は、計算機への入力が可能な電子ペンなどの道具で
ある。ペン入力情報検知手段１０６は、ペン入力手段１
０２により入力された情報の内容および入力時刻を検知
する手段である。ペン入力情報解析手段１０７は、ペン
入力情報の意味情報を解析する手段である。情報統合手
段１０８は、意味単位に分割あるいは統合され意味情報
の解析が行なわれた音声入力情報と、意味情報の解析が
行なわれたペン入力情報を統合して解釈を行なう手段で
ある。コマンド実行手段１０９は、ファイル管理のコマ
ンドを実行する手段である。画面表示手段１１０はコマ
ンドの実行に対応して画面の表示を変更する手段であ
る。画面出力手段１１１は、ディスプレイなどの、文字
あるいは図形を出力する手段である。
を示すブロック図である。図１において、音声入力手段
１０１は音声を入力するのに用いられるマイクロフォン
などの道具である。音声検出手段１０３は、音声入力手
段１０１により入力された情報から利用者の音声区間と
入力時刻を検出する手段である。音声認識手段１０４
は、検出された利用者の音声を分析し、相当する単語列
を出力する手段である。音声入力情報解析手段１０５
は、音声入力情報を、意味を持つ単位に分割あるいは統
合し、意味情報を解析する手段である。ペン入力手段１
０２は、計算機への入力が可能な電子ペンなどの道具で
ある。ペン入力情報検知手段１０６は、ペン入力手段１
０２により入力された情報の内容および入力時刻を検知
する手段である。ペン入力情報解析手段１０７は、ペン
入力情報の意味情報を解析する手段である。情報統合手
段１０８は、意味単位に分割あるいは統合され意味情報
の解析が行なわれた音声入力情報と、意味情報の解析が
行なわれたペン入力情報を統合して解釈を行なう手段で
ある。コマンド実行手段１０９は、ファイル管理のコマ
ンドを実行する手段である。画面表示手段１１０はコマ
ンドの実行に対応して画面の表示を変更する手段であ
る。画面出力手段１１１は、ディスプレイなどの、文字
あるいは図形を出力する手段である。
【０００８】本発明が従来と異なる点は、情報統合手段
１０８を設けている点である。
１０８を設けている点である。
【０００９】図１の実施例において、まず音声入力手段
１０１を用いて入力された情報のうち、利用者の音声を
音声検出手段１０３により検出する。利用者の音声とし
ては、ファイル管理に関わるコマンド発声として、「移
動」「右」などの単語音声の他、「このファイルをここ
に移動したい」などの連続音声も入力されうる。これら
の音声が音声入力手段１０１を用いて入力された後、音
声検出手段１０３では、音声区間を検出すると同時に、
検出された音声区間の始端時刻と終端時刻を計測する。
音声認識手段１０４では、音声検出手段１０３で検出さ
れた音声区間を対象に通常の音声認識処理を行ない、認
識結果として単語列を出力する。音声入力情報解析手段
１０５は、音声認識結果の出力である単語列について、
意味情報単位に分割あるいは統合することにより、意味
情報を解析する。一方、ペン入力手段１０２を用いて入
力された情報は、ペン入力情報検知手段１０６において
検知され、その際にペン入力の開始時刻と終力時刻を計
測する。なお、ペン入力情報としては、画面上に表示さ
れたファイルやディレクトリの概念を示すアイコンなど
の対象物を指すためにペンを押下するような離散的な操
作や、ペンを押下したまま移動するような連続的な操作
などにより得られる入力情報がある。ペン入力情報解析
手段１０７は、ペンにより入力された情報の意味とし
て、対象物を指した場合には指された対象物の名前を、
ジェスチャが入力された場合にはジェスチャに対応する
コマンド名を解析し、ペン入力情報の意味として出力す
る。情報統合手段１０８は、音声入力手段１０１とペン
入力手段１０２を用いて同時に入力された情報につい
て、音声入力情報の意味情報とペン入力情報の意味情報
より、利用者の操作全体の意図を解釈する。なお、意図
はコマンド実行手段１０９において実行するコマンドに
対応する。
１０１を用いて入力された情報のうち、利用者の音声を
音声検出手段１０３により検出する。利用者の音声とし
ては、ファイル管理に関わるコマンド発声として、「移
動」「右」などの単語音声の他、「このファイルをここ
に移動したい」などの連続音声も入力されうる。これら
の音声が音声入力手段１０１を用いて入力された後、音
声検出手段１０３では、音声区間を検出すると同時に、
検出された音声区間の始端時刻と終端時刻を計測する。
音声認識手段１０４では、音声検出手段１０３で検出さ
れた音声区間を対象に通常の音声認識処理を行ない、認
識結果として単語列を出力する。音声入力情報解析手段
１０５は、音声認識結果の出力である単語列について、
意味情報単位に分割あるいは統合することにより、意味
情報を解析する。一方、ペン入力手段１０２を用いて入
力された情報は、ペン入力情報検知手段１０６において
検知され、その際にペン入力の開始時刻と終力時刻を計
測する。なお、ペン入力情報としては、画面上に表示さ
れたファイルやディレクトリの概念を示すアイコンなど
の対象物を指すためにペンを押下するような離散的な操
作や、ペンを押下したまま移動するような連続的な操作
などにより得られる入力情報がある。ペン入力情報解析
手段１０７は、ペンにより入力された情報の意味とし
て、対象物を指した場合には指された対象物の名前を、
ジェスチャが入力された場合にはジェスチャに対応する
コマンド名を解析し、ペン入力情報の意味として出力す
る。情報統合手段１０８は、音声入力手段１０１とペン
入力手段１０２を用いて同時に入力された情報につい
て、音声入力情報の意味情報とペン入力情報の意味情報
より、利用者の操作全体の意図を解釈する。なお、意図
はコマンド実行手段１０９において実行するコマンドに
対応する。
【００１０】図２は、図１の情報統合手段１０８の一実
施例を示すブロック図である。図２において、時間同期
解析手段２０１は音声入力情報とペン入力情報の時間的
な対応関係を解析し、時間同期性を判定する手段であ
る。意味照合手段２０２は、時間的に同期している音声
入力情報とペン入力情報の意味を比較照合する手段であ
る。フレーム作成手段２０３は、意味照合手段２０２の
結果を用いて、音声入力情報とペン入力情報からコマン
ド実行手段１０９でコマンドを実行するための条件を記
述したフレームを作成する手段である。
施例を示すブロック図である。図２において、時間同期
解析手段２０１は音声入力情報とペン入力情報の時間的
な対応関係を解析し、時間同期性を判定する手段であ
る。意味照合手段２０２は、時間的に同期している音声
入力情報とペン入力情報の意味を比較照合する手段であ
る。フレーム作成手段２０３は、意味照合手段２０２の
結果を用いて、音声入力情報とペン入力情報からコマン
ド実行手段１０９でコマンドを実行するための条件を記
述したフレームを作成する手段である。
【００１１】まず、音声入力情報解析手段１０５から、
入力された音声入力情報の意味情報および入力開始時
刻、終了時刻が出力され、ペン入力情報解析手段１０７
から、ペン入力情報の意味情報および入力開始時刻、終
了時刻が出力される。時間同期解析手段２０１はこれら
の情報を入力とし、音声入力情報とペン入力情報の時間
的な同期性を解析する。例えば、画面上に表示されたフ
ァイルのアイコンをペンの押下により指している時刻
が、「このファイルを」という音声区間の出現時刻に対
して、あらかじめ定めた時間差の範囲内にあれば、これ
らのペン入力情報と音声入力情報は同期していると判断
する。ここで、音声入力情報とペン入力情報が同期して
いる場合には、同じ概念についての入力が図１の音声入
力手段１０１とペン入力手段１０２の両方の入力手段に
より行なわれたと判断するヒューリスティックを用い
る。このヒューリスティックにより時間同期解析手段２
０１は、時間的な同期性がある音声入力情報とペン入力
情報について、同じ概念を示す情報としてリンクして、
出力する。意味照合手段２０２は、時間同期解析手段２
０１によりリンクされた音声入力情報とペン入力情報の
意味の照合を行なう。それぞれの意味が一致すればリン
クされた音声入力情報とペン入力情報は一つに統合でき
る。意味が一致しなければ、入力情報の信頼性から、ペ
ン入力情報の内容を優先的に採用し、音声入力情報の内
容を破棄する。ただし、ペン入力情報の内容が曖昧であ
れば、音声入力情報の意味を利用してペン入力情報の内
容を明確化する処理を行なう。なお、ここで音声入力情
報の単位は、句単位を想定しているが、単語単位、文単
位、文節単位でも本質的には処理の内容は同じである。
フレーム作成手段２０３は、意味照合手段２０２におい
て同一概念を示す情報を統合した音声入力情報とペン入
力情報から、解釈を行なう。解釈の結果としては、ファ
イルの移動、削除などのコマンドとそのパラメータから
なるフレームとする。
入力された音声入力情報の意味情報および入力開始時
刻、終了時刻が出力され、ペン入力情報解析手段１０７
から、ペン入力情報の意味情報および入力開始時刻、終
了時刻が出力される。時間同期解析手段２０１はこれら
の情報を入力とし、音声入力情報とペン入力情報の時間
的な同期性を解析する。例えば、画面上に表示されたフ
ァイルのアイコンをペンの押下により指している時刻
が、「このファイルを」という音声区間の出現時刻に対
して、あらかじめ定めた時間差の範囲内にあれば、これ
らのペン入力情報と音声入力情報は同期していると判断
する。ここで、音声入力情報とペン入力情報が同期して
いる場合には、同じ概念についての入力が図１の音声入
力手段１０１とペン入力手段１０２の両方の入力手段に
より行なわれたと判断するヒューリスティックを用い
る。このヒューリスティックにより時間同期解析手段２
０１は、時間的な同期性がある音声入力情報とペン入力
情報について、同じ概念を示す情報としてリンクして、
出力する。意味照合手段２０２は、時間同期解析手段２
０１によりリンクされた音声入力情報とペン入力情報の
意味の照合を行なう。それぞれの意味が一致すればリン
クされた音声入力情報とペン入力情報は一つに統合でき
る。意味が一致しなければ、入力情報の信頼性から、ペ
ン入力情報の内容を優先的に採用し、音声入力情報の内
容を破棄する。ただし、ペン入力情報の内容が曖昧であ
れば、音声入力情報の意味を利用してペン入力情報の内
容を明確化する処理を行なう。なお、ここで音声入力情
報の単位は、句単位を想定しているが、単語単位、文単
位、文節単位でも本質的には処理の内容は同じである。
フレーム作成手段２０３は、意味照合手段２０２におい
て同一概念を示す情報を統合した音声入力情報とペン入
力情報から、解釈を行なう。解釈の結果としては、ファ
イルの移動、削除などのコマンドとそのパラメータから
なるフレームとする。
【００１２】図３は、図２の時間同期解析手段２０１の
一実施例を示すフローチャートである。図２の音声入力
情報解析手段１０５から音声入力情報の意味情報および
入力開始時刻、終了時刻が、ペン入力情報解析手段１０
７から、ペン入力情報の意味情報および入力開始時刻、
終了時刻が時間同期解析手段２０１に入力される。時間
同期解析手段２０１は、これらの情報を受け取ると、図
３のフローチャートのように、音声入力情報とペン入力
情報がどのような時間的対応関係を持つかを解析する。
音声入力情報とペン入力情報の時間的な対応関係は図３
の［時間的な対応関係のタイプ］に示す６種類が存在す
る。これらのうち(1),(2),(3),(4)の対応関係において
常に同期性があると言え、(5),(6)では音声入力情報と
ペン入力情報の出現時刻があらかじめ定めた時間差の範
囲内にあるという条件を満たせば同期性があると言え
る。
一実施例を示すフローチャートである。図２の音声入力
情報解析手段１０５から音声入力情報の意味情報および
入力開始時刻、終了時刻が、ペン入力情報解析手段１０
７から、ペン入力情報の意味情報および入力開始時刻、
終了時刻が時間同期解析手段２０１に入力される。時間
同期解析手段２０１は、これらの情報を受け取ると、図
３のフローチャートのように、音声入力情報とペン入力
情報がどのような時間的対応関係を持つかを解析する。
音声入力情報とペン入力情報の時間的な対応関係は図３
の［時間的な対応関係のタイプ］に示す６種類が存在す
る。これらのうち(1),(2),(3),(4)の対応関係において
常に同期性があると言え、(5),(6)では音声入力情報と
ペン入力情報の出現時刻があらかじめ定めた時間差の範
囲内にあるという条件を満たせば同期性があると言え
る。
【００１３】例えば、図３の凡例に示すように、音声入
力情報の入力開始時刻、終了時刻をそれぞれTss,Tseと
する。さらにペン入力情報の入力開始時刻、終了時刻を
それぞれTps,Tpeとするとき、Tss = 100ms,Tse = 1200m
s,Tps = 300ms,Tpe = 500msであったと仮定する。この
場合、図３のフローチャートにおいて、まずs301,s302,
s308,s310のフローをたどり音声入力情報とペン入力情
報には同期性があると判断される。この場合の時間的な
対応関係は、図３の［時間的な対応関係のタイプ］の
(1)に相当する。
力情報の入力開始時刻、終了時刻をそれぞれTss,Tseと
する。さらにペン入力情報の入力開始時刻、終了時刻を
それぞれTps,Tpeとするとき、Tss = 100ms,Tse = 1200m
s,Tps = 300ms,Tpe = 500msであったと仮定する。この
場合、図３のフローチャートにおいて、まずs301,s302,
s308,s310のフローをたどり音声入力情報とペン入力情
報には同期性があると判断される。この場合の時間的な
対応関係は、図３の［時間的な対応関係のタイプ］の
(1)に相当する。
【００１４】例えば、Tss = 600ms,Tse = 1500ms,Tps =
300ms,Tpe = 400msの場合、s305においてc = 500ms と
定めておけば、s301,s302,s303,s304,s305,s306という
フローをたどり、音声入力情報とペン入力情報は対応し
ていると判断される。この場合の時間的な対応関係は、
図３の［時間的な対応関係のタイプ］の(5)に相当す
る。
300ms,Tpe = 400msの場合、s305においてc = 500ms と
定めておけば、s301,s302,s303,s304,s305,s306という
フローをたどり、音声入力情報とペン入力情報は対応し
ていると判断される。この場合の時間的な対応関係は、
図３の［時間的な対応関係のタイプ］の(5)に相当す
る。
【００１５】このようにして、図２の時間同期解析手段
２０１では、音声入力情報とペン入力情報の同期性を判
定し、さらに同期する音声入力情報とペン入力情報をリ
ンクして出力する。
２０１では、音声入力情報とペン入力情報の同期性を判
定し、さらに同期する音声入力情報とペン入力情報をリ
ンクして出力する。
【００１６】図４は、図２の意味照合手段２０２の一実
施例を示すブロック図である。図２の時間同期解析手段
２０１から、時間的に同期していることによりリンクさ
れた音声入力情報とペン入力情報が出力され、図４の意
味情報照合手段４０１において、リンクされた音声入力
情報とペン入力情報の意味情報の照合を行なう。時間的
に同期していれば、音声入力情報とペン入力情報は同一
の概念を示すと仮定しているため、同一の意味情報を持
ちうるが、音声入力情報には「これ」「ここ」などペン
入力情報には存在しない意味情報を持つ語が存在した
り、音声認識の誤りによって、時間的には同期していて
も異なる意味情報を持つ入力情報がリンクされる可能性
が生じる。従って、意味情報の照合を行ない、不一致で
あれば、入力情報の信頼性から、ペン入力情報の内容を
優先的に採用する。ただし、例えばディレクトリのアイ
コンをペンによりポインティングしただけでは対象物と
して判断すべきなのか目的地として判断すべきなのかと
いうように、解釈の曖昧性が残るような場合、ペン入力
情報のみでは解釈できない。このような場合に対処する
ために、意味素性情報照合手段４０２は、解釈が曖昧な
ペン入力情報に対応している音声入力情報の意味素性情
報を用いて、ペン入力情報の解釈の曖昧性を解消する。
施例を示すブロック図である。図２の時間同期解析手段
２０１から、時間的に同期していることによりリンクさ
れた音声入力情報とペン入力情報が出力され、図４の意
味情報照合手段４０１において、リンクされた音声入力
情報とペン入力情報の意味情報の照合を行なう。時間的
に同期していれば、音声入力情報とペン入力情報は同一
の概念を示すと仮定しているため、同一の意味情報を持
ちうるが、音声入力情報には「これ」「ここ」などペン
入力情報には存在しない意味情報を持つ語が存在した
り、音声認識の誤りによって、時間的には同期していて
も異なる意味情報を持つ入力情報がリンクされる可能性
が生じる。従って、意味情報の照合を行ない、不一致で
あれば、入力情報の信頼性から、ペン入力情報の内容を
優先的に採用する。ただし、例えばディレクトリのアイ
コンをペンによりポインティングしただけでは対象物と
して判断すべきなのか目的地として判断すべきなのかと
いうように、解釈の曖昧性が残るような場合、ペン入力
情報のみでは解釈できない。このような場合に対処する
ために、意味素性情報照合手段４０２は、解釈が曖昧な
ペン入力情報に対応している音声入力情報の意味素性情
報を用いて、ペン入力情報の解釈の曖昧性を解消する。
【００１７】図５は、図２の意味照合手段２０２の一実
施例のデータの流れを示す図である。利用者が「ファイ
ル１をここにコピー」と発話しながら「ファイル１を」
と発話中に画面上のfile1のアイコンをペンで指し、
「ここに」と発話中に画面上のwindow2の領域をペンで
指す操作を行なった場合の例である。この時、音声入力
情報として「ここに」という表現の情報と、ペン入力情
報として対象物がwindow2である情報が時間的に同期し
ているため、図２の時間同期解析手段２０１によりリン
クされる。図４の意味情報照合手段４０１は、図５の音
声入力情報２の意味情報"here"とペン入力情報２の意味
情報"window2"を比較照合し、不一致の判定結果を返
す。次に図４の意味素性情報照合手段４０２は、音声入
力情報２の意味素性情報"location"とペン入力情報２の
意味素性情報"location"を比較照合し、一致の判定結果
を返す。その結果、リンクされた音声入力情報２とペン
入力情報２は、統合され、意味情報として"window2"、
意味素性情報として"location"を持つ統合化情報２に置
換される。
施例のデータの流れを示す図である。利用者が「ファイ
ル１をここにコピー」と発話しながら「ファイル１を」
と発話中に画面上のfile1のアイコンをペンで指し、
「ここに」と発話中に画面上のwindow2の領域をペンで
指す操作を行なった場合の例である。この時、音声入力
情報として「ここに」という表現の情報と、ペン入力情
報として対象物がwindow2である情報が時間的に同期し
ているため、図２の時間同期解析手段２０１によりリン
クされる。図４の意味情報照合手段４０１は、図５の音
声入力情報２の意味情報"here"とペン入力情報２の意味
情報"window2"を比較照合し、不一致の判定結果を返
す。次に図４の意味素性情報照合手段４０２は、音声入
力情報２の意味素性情報"location"とペン入力情報２の
意味素性情報"location"を比較照合し、一致の判定結果
を返す。その結果、リンクされた音声入力情報２とペン
入力情報２は、統合され、意味情報として"window2"、
意味素性情報として"location"を持つ統合化情報２に置
換される。
【００１８】図６は、フレーム作成手段の一実施例の入
出力データを示す図である。
出力データを示す図である。
【００１９】図２の時間同期解析手段２０１と意味照合
手段２０２により、時間的に同期することにより同一概
念を示すと判断された音声入力情報とペン入力情報につ
いて情報を統合し、統合された入力情報から、図２のフ
レーム作成手段２０３においてフレームを作成する。こ
こでいうフレームとは、利用者の操作の意図の解釈結果
であり、ファイルの移動、削除などファイル管理に関わ
るコマンドとコマンド実行に要するパラメータからな
る。
手段２０２により、時間的に同期することにより同一概
念を示すと判断された音声入力情報とペン入力情報につ
いて情報を統合し、統合された入力情報から、図２のフ
レーム作成手段２０３においてフレームを作成する。こ
こでいうフレームとは、利用者の操作の意図の解釈結果
であり、ファイルの移動、削除などファイル管理に関わ
るコマンドとコマンド実行に要するパラメータからな
る。
【００２０】例えば、図６において、(1)に示した統合
化情報は既に同一概念を示す音声入力情報とペン入力情
報を統合した情報である。(2)に示したコマンドフレー
ムは、ファイル管理に関するファイルの移動、削除、コ
ピーなど、図１のコマンド実行手段１０９において実行
するコマンドの種類と、実行するために必要な対象物
名、目的地名などのパラメータからなる。図６におい
て、例えば、統合化情報１の意味素性"object"より、コ
マンドフレーム中のobjectのスロットに、統合化情報の
意味情報が記述される。同様にして、統合化情報２から
４の意味情報をコマンドフレームのスロットに記述し、
コマンドフレームを作成する。
化情報は既に同一概念を示す音声入力情報とペン入力情
報を統合した情報である。(2)に示したコマンドフレー
ムは、ファイル管理に関するファイルの移動、削除、コ
ピーなど、図１のコマンド実行手段１０９において実行
するコマンドの種類と、実行するために必要な対象物
名、目的地名などのパラメータからなる。図６におい
て、例えば、統合化情報１の意味素性"object"より、コ
マンドフレーム中のobjectのスロットに、統合化情報の
意味情報が記述される。同様にして、統合化情報２から
４の意味情報をコマンドフレームのスロットに記述し、
コマンドフレームを作成する。
【００２１】図７は、本発明装置の一実施例の利用形態
を示す図である。この図においてディスプレイ７０１は
画面出力手段である。ウインドウ７０２は、ディレクト
リの内容を表示する領域である。アイコン７０３は、フ
ァイルの概念を示した図形である。
を示す図である。この図においてディスプレイ７０１は
画面出力手段である。ウインドウ７０２は、ディレクト
リの内容を表示する領域である。アイコン７０３は、フ
ァイルの概念を示した図形である。
【００２２】この図において、利用者は「この裏のアイ
コンをここに移して下さい」と発話しながら、「アイコ
ンを」の発話中にディスプレイ上の(1)の領域をペンで
指し、「ここに」の発話中にディスプレイ上の(2)の領
域をペンで指すことにより、画面上には見えない対象物
に対する操作を行なうことが可能である。本発明装置に
おいて、図１の情報統合手段１０８を設けることによ
り、上記の操作や、画面上に表示された対象物の下層も
しくは上層の、画面上に表示されていないディレクトリ
やファイルを音声で指定する操作など、不可視部分の操
作を解釈できる。
コンをここに移して下さい」と発話しながら、「アイコ
ンを」の発話中にディスプレイ上の(1)の領域をペンで
指し、「ここに」の発話中にディスプレイ上の(2)の領
域をペンで指すことにより、画面上には見えない対象物
に対する操作を行なうことが可能である。本発明装置に
おいて、図１の情報統合手段１０８を設けることによ
り、上記の操作や、画面上に表示された対象物の下層も
しくは上層の、画面上に表示されていないディレクトリ
やファイルを音声で指定する操作など、不可視部分の操
作を解釈できる。
【００２３】図８は、本発明装置の一実施例の利用形態
を示す図である。
を示す図である。
【００２４】この図において、利用者は「これを上のウ
インドウにコピーして下さい」と発話しながら、「これ
を」の発話中にディスプレイ上の(1)で示す領域を指す
操作で、ペンで直接、コピー先の領域を指さなくても音
声で相対的な位置を指定する操作を行なうことが可能で
ある。本発明装置において、図１の情報統合手段１０８
を設けることにより、上記の操作のような、直接操作の
代替となる間接操作を解釈できる。
インドウにコピーして下さい」と発話しながら、「これ
を」の発話中にディスプレイ上の(1)で示す領域を指す
操作で、ペンで直接、コピー先の領域を指さなくても音
声で相対的な位置を指定する操作を行なうことが可能で
ある。本発明装置において、図１の情報統合手段１０８
を設けることにより、上記の操作のような、直接操作の
代替となる間接操作を解釈できる。
【００２５】図９は、本発明装置の一実施例の利用形態
を示す図である。
を示す図である。
【００２６】この図において、利用者は「この形のアイ
コンを全て選択して下さい」と発話しながら、「この形
の」の発話中にディスプレイ上の(1)で示す領域を指す
操作で、形という属性を指定することにより、複数の対
象物の選択を一括して行なうことが可能である。本発明
装置において、図１の情報統合手段１０８を設けること
により、上記の操作や、色や大きさなどの属性を音声に
よって指定する操作を解釈できる。
コンを全て選択して下さい」と発話しながら、「この形
の」の発話中にディスプレイ上の(1)で示す領域を指す
操作で、形という属性を指定することにより、複数の対
象物の選択を一括して行なうことが可能である。本発明
装置において、図１の情報統合手段１０８を設けること
により、上記の操作や、色や大きさなどの属性を音声に
よって指定する操作を解釈できる。
【００２７】
【発明の効果】少なくともマイクロフォンなどの音声入
力手段と、ペンあるいはマウスなどのポインティング入
力手段と、利用者の入力音声を音声認識する音声認識手
段と、ポインティング入力手段を用いて入力されたポイ
ンティング入力情報を検知するポインティング入力情報
検知手段と、コマンドを実行するコマンド実行手段と、
該コマンドに対応して画面表示を変更する画面表示手段
を有する情報処理装置において、音声入力情報およびポ
インティング入力情報を統合して解釈を行なう情報統合
手段を備えることにより、利用者により前記音声入力手
段と前記ポインティング入力手段を用いて同時に入力さ
れた音声入力情報とポインティング入力情報を統合して
解釈し、単一入力手段では実現困難な画面上の不可視部
分の操作や複数オブジェクトの一括選択操作などの、非
直接操作を含む操作を処理することを可能にした。
力手段と、ペンあるいはマウスなどのポインティング入
力手段と、利用者の入力音声を音声認識する音声認識手
段と、ポインティング入力手段を用いて入力されたポイ
ンティング入力情報を検知するポインティング入力情報
検知手段と、コマンドを実行するコマンド実行手段と、
該コマンドに対応して画面表示を変更する画面表示手段
を有する情報処理装置において、音声入力情報およびポ
インティング入力情報を統合して解釈を行なう情報統合
手段を備えることにより、利用者により前記音声入力手
段と前記ポインティング入力手段を用いて同時に入力さ
れた音声入力情報とポインティング入力情報を統合して
解釈し、単一入力手段では実現困難な画面上の不可視部
分の操作や複数オブジェクトの一括選択操作などの、非
直接操作を含む操作を処理することを可能にした。
【図１】情報処理装置の一実施例を示すブロック図。
【図２】情報統合手段の一実施例を示すブロック図。
【図３】時間同期解析手段の一実施例を示すフローチャ
ート。
ート。
【図４】意味照合手段の一実施例を示すブロック図。
【図５】意味照合手段の一実施例のデータの流れを示す
図。
図。
【図６】フレーム作成手段の一実施例の入出力データを
示す図。
示す図。
【図７】本発明装置の一実施例の利用形態を示す図。
【図８】本発明装置の一実施例の利用形態を示す図。
【図９】本発明装置の一実施例の利用形態を示す図。
１０１…音声入力手段、１０２…ペン入力手段、１０３
…音声検出手段、１０４…音声認識手段、１０５…音声
入力情報解析手段、１０６…ペン入力情報検知手段、１
０７…ペン入力情報解析手段、１０８…情報統合手段、
１０９…コマンド実行手段、１１０…画面表示手段、１
１１…画面出力手段。
…音声検出手段、１０４…音声認識手段、１０５…音声
入力情報解析手段、１０６…ペン入力情報検知手段、１
０７…ペン入力情報解析手段、１０８…情報統合手段、
１０９…コマンド実行手段、１１０…画面表示手段、１
１１…画面出力手段。
Claims (7)
- 【請求項１】少なくともマイクロフォンなどの音声入力
手段と、ペンあるいはマウスなどのポインティング入力
手段と、前記音声入力手段を用いて入力された利用者の
音声を検出する音声検出手段と、検出した音声入力情報
を音声認識する音声認識手段と、該音声入力情報の解析
を行なう音声入力情報解析手段と、前記ポインティング
入力手段を用いて入力されたポインティング入力情報を
検知するポインティング入力情報検知手段と、該ポイン
ティング入力情報を解析するポインティング入力情報解
析手段と、コマンドを実行するコマンド実行手段と、該
コマンドに対応して画面表示を変更する画面表示手段
と、ディスプレイなどの画面出力を行なう画面出力手段
を有する情報処理装置において、前記音声入力情報およ
び前記ポインティング入力情報を統合して解釈を行なう
情報統合手段を設け、利用者が前記音声入力手段と前記
ポインティング入力手段を用いて行なう、画面上の不可
視部分の操作や複数対象物の一括選択操作などの、非直
接操作を含む操作を解釈する機能を備えたことを特徴と
する情報処理装置。 - 【請求項２】請求項１記載の情報処理装置において、前
記情報統合手段は、前記音声入力手段を用いて入力され
た音声入力情報と前記ポインティング入力手段を用いて
入力されたポインティング入力情報の時間的な同期性を
解析する時間同期解析手段と、時間的に同期している前
記音声入力情報と前記ポインティング入力情報の意味を
照合する意味照合手段と、意味照合手段の結果から解釈
の結果としてコマンド実行の条件を作成するフレーム作
成手段を有し、前記音声入力情報と前記ポインティング
入力情報が非同期に入力される操作を解釈する機能を備
えたことを特徴とする情報処理装置。 - 【請求項３】請求項１記載の情報処理装置において、前
記時間同期解析手段は、前記音声入力手段を用いて入力
された音声入力情報と前記ポインティング入力手段を用
いて入力されたポインティング入力情報の時間的な対応
関係を解析し、さらに時間同期性を判断する機能を持つ
ことを特徴とする情報処理装置。 - 【請求項４】請求項１記載の情報処理装置において、前
記意味照合手段は前記時間同期解析手段により時間的な
同期性があると判断された音声入力情報とポインティン
グ入力情報について、意味や意味素性などの意味的概念
を比較照合し補完する機能を持つことを特徴とする情報
処理装置。 - 【請求項５】請求項１記載の情報処理装置において、前
記情報統合手段は、前記画面出力手段において不可視状
態にある対象物に関する音声入力情報を他の入力情報と
統合することにより、不可視部分への操作を解釈する機
能を備えたことを特徴とする情報処理装置。 - 【請求項６】請求項１記載の情報処理装置において、前
記情報統合手段は、既に指定されている対象物に対する
相対的な位置に関する音声入力情報を他の入力情報と統
合することにより、音声による対象物の指定を直接操作
の代替とする操作を解釈する機能を備えたことを特徴と
する情報処理装置。 - 【請求項７】請求項１記載の情報処理装置において、前
記情報統合手段は、色、形、大きさなどの属性に関する
音声入力情報を他の入力情報と統合することにより、
色、形、大きさなどの共通の属性を有する複数の対象物
を音声で指定することにより一括して選択する操作を解
釈する機能を備えたことを特徴とする情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19923794A JPH0863319A (ja) | 1994-08-24 | 1994-08-24 | 情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19923794A JPH0863319A (ja) | 1994-08-24 | 1994-08-24 | 情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0863319A true JPH0863319A (ja) | 1996-03-08 |
Family
ID=16404446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19923794A Pending JPH0863319A (ja) | 1994-08-24 | 1994-08-24 | 情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0863319A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007094194A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | 音声翻訳装置及び音声翻訳方法 |
| JP2009230534A (ja) * | 2008-03-24 | 2009-10-08 | Equos Research Co Ltd | 情報入力装置 |
| JP2017199085A (ja) * | 2016-04-25 | 2017-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10248383B2 (en) | 2015-03-12 | 2019-04-02 | Kabushiki Kaisha Toshiba | Dialogue histories to estimate user intention for updating display information |
| JP2019101739A (ja) * | 2017-12-01 | 2019-06-24 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システムおよびプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60194367A (ja) * | 1984-03-14 | 1985-10-02 | Graphtec Corp | ペンガルバノメ−タ |
| JPS62165270A (ja) * | 1986-01-17 | 1987-07-21 | Hitachi Ltd | グラフイツクデイスプレイの表示方法 |
| JPH0689158A (ja) * | 1992-09-08 | 1994-03-29 | Hitachi Ltd | 複合形態情報入力方法 |
| JPH06103362A (ja) * | 1992-09-22 | 1994-04-15 | Matsushita Electric Ind Co Ltd | ３次元図形処理装置 |
| JPH06131437A (ja) * | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
| JPH06215091A (ja) * | 1993-01-20 | 1994-08-05 | Canon Inc | 図形情報処理方法およびその装置 |
-
1994
- 1994-08-24 JP JP19923794A patent/JPH0863319A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60194367A (ja) * | 1984-03-14 | 1985-10-02 | Graphtec Corp | ペンガルバノメ−タ |
| JPS62165270A (ja) * | 1986-01-17 | 1987-07-21 | Hitachi Ltd | グラフイツクデイスプレイの表示方法 |
| JPH0689158A (ja) * | 1992-09-08 | 1994-03-29 | Hitachi Ltd | 複合形態情報入力方法 |
| JPH06103362A (ja) * | 1992-09-22 | 1994-04-15 | Matsushita Electric Ind Co Ltd | ３次元図形処理装置 |
| JPH06131437A (ja) * | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
| JPH06215091A (ja) * | 1993-01-20 | 1994-08-05 | Canon Inc | 図形情報処理方法およびその装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007094194A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | 音声翻訳装置及び音声翻訳方法 |
| JP4550708B2 (ja) * | 2005-09-29 | 2010-09-22 | 株式会社東芝 | 音声翻訳装置及び音声翻訳方法 |
| JP2009230534A (ja) * | 2008-03-24 | 2009-10-08 | Equos Research Co Ltd | 情報入力装置 |
| US10248383B2 (en) | 2015-03-12 | 2019-04-02 | Kabushiki Kaisha Toshiba | Dialogue histories to estimate user intention for updating display information |
| JP2017199085A (ja) * | 2016-04-25 | 2017-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2019101739A (ja) * | 2017-12-01 | 2019-06-24 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システムおよびプログラム |
| US11269511B2 (en) | 2017-12-01 | 2022-03-08 | Fujifilm Business Innovation Corp. | Information processing apparatus, information processing system, and non-transitory computer readable medium storing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1491989B1 (en) | Menus whose geometry is bounded by two radii and an arc | |
| Foley et al. | The art of natural man-machine conversation | |
| US5884249A (en) | Input device, inputting method, information processing system, and input information managing method | |
| US20110115702A1 (en) | Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System | |
| US5781179A (en) | Multimodal information inputting method and apparatus for embodying the same | |
| Mankoff et al. | OOPS: a toolkit supporting mediation techniques for resolving ambiguity in recognition-based interfaces | |
| EP1739656B1 (en) | Speech recognition method and speech recognition apparatus | |
| KR20180095840A (ko) | 제스쳐들에 의한 노트 필기를 위한 장치 및 방법 | |
| JPH09134282A (ja) | プログラム作成方法 | |
| NZ315986A (en) | Computer assisted reading system | |
| US20020169616A1 (en) | Voice interaction method for a computer graphical user interface | |
| JPH06242885A (ja) | 文書編集方法 | |
| US5621879A (en) | Window management information input/output system | |
| US6542090B1 (en) | Character input apparatus and method, and a recording medium | |
| JP3340581B2 (ja) | テキスト読み上げ装置及びウインドウシステム | |
| JPH0863319A (ja) | 情報処理装置 | |
| JP2000122774A (ja) | データ引き渡し装置、方法、及び記録媒体 | |
| KR101005651B1 (ko) | 트리 구조와 대화하는 방법 및 시스템 | |
| JPH05257670A (ja) | 画面作成方法およびその装置 | |
| JPH07287634A (ja) | 文書作成装置及びその図形作成方法 | |
| KR20180037155A (ko) | 제어 패드를 이용하는 표시 제어 방법, 제어 패드를 이용하는 표시 제어 장치, 및 이를 실행하기 위한 컴퓨터 프로그램을 배포하는 서버 | |
| JP3150889B2 (ja) | ソフトウェア開発支援方法及び装置 | |
| JPH0962478A (ja) | コンピュータ・システム | |
| JPH09237274A (ja) | Ｗｗｗ用ｈｔｍｌファイル作成方法及び装置 | |
| JPH06243223A (ja) | 対話処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040120 |