JP3248981B2 - 計算機 - Google Patents
計算機Info
- Publication number
- JP3248981B2 JP3248981B2 JP12235093A JP12235093A JP3248981B2 JP 3248981 B2 JP3248981 B2 JP 3248981B2 JP 12235093 A JP12235093 A JP 12235093A JP 12235093 A JP12235093 A JP 12235093A JP 3248981 B2 JP3248981 B2 JP 3248981B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- icon image
- voice
- sound
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、音声信号の入出力機能
と、マルチウィンドウの表示画面との双方を有する計算
機の改良に関する。
と、マルチウィンドウの表示画面との双方を有する計算
機の改良に関する。
【０００２】
【従来の技術】最近では、計算機のマルチメディア化の
動きによって音声信号やビデオ等の動画を扱う機能を持
った計算機が開発されてきている。また、計算機の画面
上に複数のウィンドウと呼ばれる領域を設けて、複数の
文書等を計算機の画面上のこれ等ウィンドウの各々に同
時表示する，いわゆるマルチウィンドウ表示は一般に普
及している。更に、画面に「アイコン」と呼ばれる予め
設定した小さな図柄を複数表示し、表示された複数のア
イコンのうち何れかを操作者がマウス等を用いて選択す
ることによって計算機に対して所定の入力を行う方式も
一般に普及している。
動きによって音声信号やビデオ等の動画を扱う機能を持
った計算機が開発されてきている。また、計算機の画面
上に複数のウィンドウと呼ばれる領域を設けて、複数の
文書等を計算機の画面上のこれ等ウィンドウの各々に同
時表示する，いわゆるマルチウィンドウ表示は一般に普
及している。更に、画面に「アイコン」と呼ばれる予め
設定した小さな図柄を複数表示し、表示された複数のア
イコンのうち何れかを操作者がマウス等を用いて選択す
ることによって計算機に対して所定の入力を行う方式も
一般に普及している。
【０００３】前記マルチウィンドウ表示においては、ウ
ィンドウに表示された文書等を一時的に参照しない場合
には、このウィンドウを「アイコン」として小面積に図
柄表示して縮小し、画面領域の有効活用を図ることが一
般に行われている。このように使用しないウィンドウを
アイコン化する場合、そのアイコンの図柄としては、そ
のウィンドウをアイコン化する際に、対応する記憶領域
から読み出された図柄が使用されて、この図柄が画面に
表示され、以後そのアイコンは再びウィンドウ化される
まで同じ図柄で静的に表示される。
ィンドウに表示された文書等を一時的に参照しない場合
には、このウィンドウを「アイコン」として小面積に図
柄表示して縮小し、画面領域の有効活用を図ることが一
般に行われている。このように使用しないウィンドウを
アイコン化する場合、そのアイコンの図柄としては、そ
のウィンドウをアイコン化する際に、対応する記憶領域
から読み出された図柄が使用されて、この図柄が画面に
表示され、以後そのアイコンは再びウィンドウ化される
まで同じ図柄で静的に表示される。
【０００４】尚、１つのアイコンで、その表示中に図柄
が変更されるものがある。例えば、操作者がアイコンを
選択することによって初めて入力可能とするアイコンで
は、選択された時点で図柄を変更して、選択されたこと
を表示する。また、時計を表示するアイコンでは、時刻
の進行に応じて表示時刻が変更される。電子メールの着
信の有無を表示するアイコンでは、電子メールの着信状
況が定期的に監視され、電子メールの着信があった等の
状況の変化が検出された時点で図柄が変更される。但
し、以上のアイコンの図柄の変更は最も短い間隔でも数
秒程度であり、それより短い周期での更新はＣＰＵの負
担となる等の理由で行われない。つまり、従来の技術で
は、十分滑らかな動きをする動画としての，動的なアイ
コン画像は用いられていない。
が変更されるものがある。例えば、操作者がアイコンを
選択することによって初めて入力可能とするアイコンで
は、選択された時点で図柄を変更して、選択されたこと
を表示する。また、時計を表示するアイコンでは、時刻
の進行に応じて表示時刻が変更される。電子メールの着
信の有無を表示するアイコンでは、電子メールの着信状
況が定期的に監視され、電子メールの着信があった等の
状況の変化が検出された時点で図柄が変更される。但
し、以上のアイコンの図柄の変更は最も短い間隔でも数
秒程度であり、それより短い周期での更新はＣＰＵの負
担となる等の理由で行われない。つまり、従来の技術で
は、十分滑らかな動きをする動画としての，動的なアイ
コン画像は用いられていない。
【０００５】
【発明が解決しようとする課題】ところで、従来、音声
信号の入出力機能とマルチウィンドウ表示画面との双方
を有する計算機では、次の欠点があった。
信号の入出力機能とマルチウィンドウ表示画面との双方
を有する計算機では、次の欠点があった。
【０００６】即ち、例えば所定のウィンドウに文書等を
表示すると同時に、この文書等に対応する所定の音声信
号を出力して発音している状態で、この表示中の文書等
のウィンドウをアイコン化すると共に、この文書等に代
えて他の文書等をウィンドウに表示した場合に、この他
の文書等に対応する他の音声信号が発音されているとき
には、前記アイコン化されたウィンドウの文書等に対応
する音声信号をも出力に混合して発音するとすれば、前
記新たに表示された文書等に対応する音声を聴き取るの
に障害となる場合が多い。
表示すると同時に、この文書等に対応する所定の音声信
号を出力して発音している状態で、この表示中の文書等
のウィンドウをアイコン化すると共に、この文書等に代
えて他の文書等をウィンドウに表示した場合に、この他
の文書等に対応する他の音声信号が発音されているとき
には、前記アイコン化されたウィンドウの文書等に対応
する音声信号をも出力に混合して発音するとすれば、前
記新たに表示された文書等に対応する音声を聴き取るの
に障害となる場合が多い。
【０００７】これに対し、アイコン化されたウィンドウ
の文書等に対応する音声の発音を停止させる場合には、
新たに表示された文書等に対応する音声の聴き取りには
支障は無いものの、前記アイコン化されたウィンドウは
静的に表示されているため、操作者は、このアイコン化
されたウィンドウがその文書等に対応する音声信号に関
連付けられていることを看て取り難い欠点がある。
の文書等に対応する音声の発音を停止させる場合には、
新たに表示された文書等に対応する音声の聴き取りには
支障は無いものの、前記アイコン化されたウィンドウは
静的に表示されているため、操作者は、このアイコン化
されたウィンドウがその文書等に対応する音声信号に関
連付けられていることを看て取り難い欠点がある。
【０００８】本発明は前記のような従来の課題を解決す
べくなされたものであり、その目的は、音声信号の入出
力機能とマルチウィンドウ表示画面との双方を有する計
算機において、画面上のウィンドウがアイコン化されて
アイコン画像表示に代わり且つ対応する音声の発音が停
止されても、そのアイコン画像が対応する音声信号と関
連付けられていることを、発音中の音声の聴き取りに支
障なく、容易に看て取ることができる計算機を提供する
ことにある。
べくなされたものであり、その目的は、音声信号の入出
力機能とマルチウィンドウ表示画面との双方を有する計
算機において、画面上のウィンドウがアイコン化されて
アイコン画像表示に代わり且つ対応する音声の発音が停
止されても、そのアイコン画像が対応する音声信号と関
連付けられていることを、発音中の音声の聴き取りに支
障なく、容易に看て取ることができる計算機を提供する
ことにある。
【０００９】
【課題を解決するための手段】前記の目的を達成するた
め、請求項１記載の発明の具体的な解決手段は、画面上
に複数のウィンドウが設定されるディスプレイ装置と、
前記ディスプレイ装置の画面上に設定される前記複数の
ウィンドウに対応する複数の音声信号を入力し、そのう
ち所定の１つの音声信号を選択して発音する音声入出力
手段と、前記音声入出力手段から発音される音声信号以
外の音声信号より実時間情報を抽出する音声情報抽出手
段と、前記音声情報抽出手段により抽出された実時間情
報に応じて変化する動的なアイコン画像を生成するアイ
コン画像生成手段と、前記アイコン画像生成手段により
生成されたアイコン画像を、前記実時間情報を抽出した
音声信号に対応するウィンドウの表示に代えて前記ディ
スプレイ装置の画面上に表示する表示制御手段とを設
け、前記複数のウインドウのうち１つに所定の画像が表
示され且つ前記所定の画像に対応する音声が発音されて
いる場合において、前記所定の画像とは異なる画像が所
定のウインドウに表示されると共に、前記音声信号入出
力手段が前記所定の画像とは異なる画像に対応する音声
信号を選択して 発音した際に、前記所定の画像とは異な
る画像に対応する音声の発音以前に発音中であった音声
の発音が停止されると共に、前記発音を停止した音声信
号に対応したウインドウが操作者により選択操作された
時点で、前記表示制御手段は、前記発音を停止した音声
信号に対応したウインドウに代えて、前記発音を停止し
た音声信号の実時間情報に応じて前記アイコン画像生成
手段により生成された動的なアイコン画像を前記ディス
プレイ装置の画面上に表示する構成としている。
め、請求項１記載の発明の具体的な解決手段は、画面上
に複数のウィンドウが設定されるディスプレイ装置と、
前記ディスプレイ装置の画面上に設定される前記複数の
ウィンドウに対応する複数の音声信号を入力し、そのう
ち所定の１つの音声信号を選択して発音する音声入出力
手段と、前記音声入出力手段から発音される音声信号以
外の音声信号より実時間情報を抽出する音声情報抽出手
段と、前記音声情報抽出手段により抽出された実時間情
報に応じて変化する動的なアイコン画像を生成するアイ
コン画像生成手段と、前記アイコン画像生成手段により
生成されたアイコン画像を、前記実時間情報を抽出した
音声信号に対応するウィンドウの表示に代えて前記ディ
スプレイ装置の画面上に表示する表示制御手段とを設
け、前記複数のウインドウのうち１つに所定の画像が表
示され且つ前記所定の画像に対応する音声が発音されて
いる場合において、前記所定の画像とは異なる画像が所
定のウインドウに表示されると共に、前記音声信号入出
力手段が前記所定の画像とは異なる画像に対応する音声
信号を選択して 発音した際に、前記所定の画像とは異な
る画像に対応する音声の発音以前に発音中であった音声
の発音が停止されると共に、前記発音を停止した音声信
号に対応したウインドウが操作者により選択操作された
時点で、前記表示制御手段は、前記発音を停止した音声
信号に対応したウインドウに代えて、前記発音を停止し
た音声信号の実時間情報に応じて前記アイコン画像生成
手段により生成された動的なアイコン画像を前記ディス
プレイ装置の画面上に表示する構成としている。
【００１０】加えて、請求項２記載の発明では、前記請
求項１記載の発明の音声情報抽出手段を特定して、音声
信号より抽出する実時間情報を音量レベルに限定してい
る。
求項１記載の発明の音声情報抽出手段を特定して、音声
信号より抽出する実時間情報を音量レベルに限定してい
る。
【００１１】また、請求項３記載の発明では、前記請求
項１記載の発明のアイコン画像生成手段を特定して、こ
の生成手段が生成する動的なアイコン画像を、基準とな
るアイコン画像の大きさを拡大して縮小することを繰返
すアイコン画像に限定している。
項１記載の発明のアイコン画像生成手段を特定して、こ
の生成手段が生成する動的なアイコン画像を、基準とな
るアイコン画像の大きさを拡大して縮小することを繰返
すアイコン画像に限定している。
【００１２】更に、請求項４記載の発明では、前記請求
項２記載の発明のアイコン画像生成手段を特定して、こ
の生成手段が生成する動的なアイコン画像を、音声情報
抽出手段が音声信号より抽出した音量レベルを経時的に
指示するレベル指示計としてのアイコン画像に限定す
る。
項２記載の発明のアイコン画像生成手段を特定して、こ
の生成手段が生成する動的なアイコン画像を、音声情報
抽出手段が音声信号より抽出した音量レベルを経時的に
指示するレベル指示計としてのアイコン画像に限定す
る。
【００１３】加えて、請求項５記載の発明では、前記請
求項１記載の発明の音声情報抽出手段を特定して、この
抽出手段が音声信号より抽出する実時間情報を、音声信
号の認識結果である文章に限定している。
求項１記載の発明の音声情報抽出手段を特定して、この
抽出手段が音声信号より抽出する実時間情報を、音声信
号の認識結果である文章に限定している。
【００１４】また、請求項６記載の発明では、前記請求
項１記載の発明を特定し、音声情報抽出手段が音声信号
より抽出する実時間情報を、音声信号の認識結果である
文章に限定すると共に、アイコン画像生成手段が生成す
る動的なアイコン画像を、前記音声情報抽出手段が音声
認識より抽出した文章の経時的な字幕に限定して、発音
を停止した音声信号に対応したウインドウに代えて前記
発音を停止した音声信 号に対応したアイコン画像を表示
する場合には、このアイコン画像を、前記発音を停止し
た音声信号の音声認識より抽出した文章の経時的な字幕
として動的に表示する。
項１記載の発明を特定し、音声情報抽出手段が音声信号
より抽出する実時間情報を、音声信号の認識結果である
文章に限定すると共に、アイコン画像生成手段が生成す
る動的なアイコン画像を、前記音声情報抽出手段が音声
認識より抽出した文章の経時的な字幕に限定して、発音
を停止した音声信号に対応したウインドウに代えて前記
発音を停止した音声信 号に対応したアイコン画像を表示
する場合には、このアイコン画像を、前記発音を停止し
た音声信号の音声認識より抽出した文章の経時的な字幕
として動的に表示する。
【００１５】更に、請求項７記載の発明では、前記請求
項１記載の発明の音声情報抽出手段を特定して、音声信
号より抽出する実時間情報を、音声信号の音程を認識し
た音階に限定している。
項１記載の発明の音声情報抽出手段を特定して、音声信
号より抽出する実時間情報を、音声信号の音程を認識し
た音階に限定している。
【００１６】加えて、請求項８記載の発明では、前記請
求項１記載の発明の音声情報抽出手段を特定して、音声
信号より抽出する実時間情報を、音声の音源の認識結果
に限定している。
求項１記載の発明の音声情報抽出手段を特定して、音声
信号より抽出する実時間情報を、音声の音源の認識結果
に限定している。
【００１７】
【作用】以上の構成により、請求項１〜請求項８記載の
発明では、例えば所定の文書がディスプレイ装置の画面
上のウィンドウに表示されると共に、この文書に対応す
る音声信号が音声信号入出力手段で選択されて発音され
る。
発明では、例えば所定の文書がディスプレイ装置の画面
上のウィンドウに表示されると共に、この文書に対応す
る音声信号が音声信号入出力手段で選択されて発音され
る。
【００１８】この場合に、前記の文書とは異なる他の文
書がディスプレイ装置の画面上の所定ウィンドウに表示
された際、これに対応する音声信号が音声信号入出力手
段で選択されて発音されると、それまで発音中であった
音声の発音が停止されると共に、この発音を停止した音
声信号より実時間情報、例えばその音声信号の音量レベ
ル、その音声信号を認識した文章、又は音声信号が音楽
である場合にはその音程を認識した音階若しくはその音
源が抽出され、この実時間情報に応じて動的なアイコン
画像、例えば大きさが経時的に大小変化する画像、音量
レベルを経時的に指示するレベル指示計の画像、又は文
章を経時的に表現した字幕が生成される。この動的なア
イコン画像は、前記発音を停止した音声信号に対応する
所定の文書のウインドウが操作者により操作された時点
で、前記発音を停止した音声信号に対応する所定の文書
のウィンドウの表示に代えて、ディスプレイ装置の画面
上に表示される。従って、アイコン化されたウィンドウ
が音声信号に対応付けられていることが、発音中の音声
の聞き取りの支障となることなしに操作者に良好に提示
される。
書がディスプレイ装置の画面上の所定ウィンドウに表示
された際、これに対応する音声信号が音声信号入出力手
段で選択されて発音されると、それまで発音中であった
音声の発音が停止されると共に、この発音を停止した音
声信号より実時間情報、例えばその音声信号の音量レベ
ル、その音声信号を認識した文章、又は音声信号が音楽
である場合にはその音程を認識した音階若しくはその音
源が抽出され、この実時間情報に応じて動的なアイコン
画像、例えば大きさが経時的に大小変化する画像、音量
レベルを経時的に指示するレベル指示計の画像、又は文
章を経時的に表現した字幕が生成される。この動的なア
イコン画像は、前記発音を停止した音声信号に対応する
所定の文書のウインドウが操作者により操作された時点
で、前記発音を停止した音声信号に対応する所定の文書
のウィンドウの表示に代えて、ディスプレイ装置の画面
上に表示される。従って、アイコン化されたウィンドウ
が音声信号に対応付けられていることが、発音中の音声
の聞き取りの支障となることなしに操作者に良好に提示
される。
【００１９】その際、特に請求項３記載の発明では、動
的なアイコン画像は、そのアイコン画像の大きさが経時
的に大小変化するものであるので、アイコン化されたウ
ィンドウが音声信号に対応付けられていることが容易に
認識できる。
的なアイコン画像は、そのアイコン画像の大きさが経時
的に大小変化するものであるので、アイコン化されたウ
ィンドウが音声信号に対応付けられていることが容易に
認識できる。
【００２０】更に、請求項６記載の発明では、発音を停
止した音声信号の認識結果である文章が経時的に字幕と
してディスプレイ装置の画面上に表現されるので、操作
者はアイコン化されて表示されない文書に対応する音声
信号に含まれる情報を容易に監視できて、操作者は適時
にそのアイコン表示を再度ウィンドウでの文書表示に変
更できて、情報を漏らさず読み取ることができる。
止した音声信号の認識結果である文章が経時的に字幕と
してディスプレイ装置の画面上に表現されるので、操作
者はアイコン化されて表示されない文書に対応する音声
信号に含まれる情報を容易に監視できて、操作者は適時
にそのアイコン表示を再度ウィンドウでの文書表示に変
更できて、情報を漏らさず読み取ることができる。
【００２１】
【実施例】以下、本発明の実施例を図面に基いて説明す
る。
る。
【００２２】（実施例１） 図１において、１は音声入出力手段、２はディスプレイ
装置、３は音声情報抽出手段、４はアイコン画像生成手
段、５は表示装置制御手段、６は画像合成手段、７はＣ
Ｇ画像生成手段、１２は映像信号変換手段、８は以上の
手段１〜７、１２を備えた計算機である。
装置、３は音声情報抽出手段、４はアイコン画像生成手
段、５は表示装置制御手段、６は画像合成手段、７はＣ
Ｇ画像生成手段、１２は映像信号変換手段、８は以上の
手段１〜７、１２を備えた計算機である。
【００２３】前記音声入出力手段１は、外部から複数の
音声信号が入力されると共に、スピーカ９と、音声混合
増幅器１０と、音声信号選択器１１とを有する。前記音
声混合増幅器１０は、入力された複数の音声信号を所定
の重みにより重み付けし、その重み付け和を計算し、そ
の計算結果をスピーカ９から出力する混合機能を有す
る。この混合機能には、入力された複数の音声信号のう
ち所定の１つの音声信号を出力し又は出力させない選択
機能を含んでいる。また、前記重みは可変である。前記
音声信号選択器１１は、入力された複数の音声信号のう
ち、前記音声混合増幅器１０の選択機能により出力され
ない音声信号を選択して出力する機能を有している。
音声信号が入力されると共に、スピーカ９と、音声混合
増幅器１０と、音声信号選択器１１とを有する。前記音
声混合増幅器１０は、入力された複数の音声信号を所定
の重みにより重み付けし、その重み付け和を計算し、そ
の計算結果をスピーカ９から出力する混合機能を有す
る。この混合機能には、入力された複数の音声信号のう
ち所定の１つの音声信号を出力し又は出力させない選択
機能を含んでいる。また、前記重みは可変である。前記
音声信号選択器１１は、入力された複数の音声信号のう
ち、前記音声混合増幅器１０の選択機能により出力され
ない音声信号を選択して出力する機能を有している。
【００２４】前記ディスプレイ装置２には、図示しない
が、画面上に、少なくとも前記音声入出力手段１に入力
される複数の音声信号に対応する複数のウィンドウが設
定される。
が、画面上に、少なくとも前記音声入出力手段１に入力
される複数の音声信号に対応する複数のウィンドウが設
定される。
【００２５】前記音声情報抽出手段３は、前記音声信号
選択器１１から出力される音声信号より実時間情報とし
て、その音声信号の音量レベルを抽出するものである。
選択器１１から出力される音声信号より実時間情報とし
て、その音声信号の音量レベルを抽出するものである。
【００２６】前記アイコン画像生成手段４は、前記音声
情報抽出手段３により抽出された実時間情報に応じて動
的なアイコン画像を生成するものであり、その動的なア
イコン画像としては、アイコン画像の大きさを前記抽出
された音量レベルに応じて経時的に大小変化させて動的
に見せる図２（ｃ）に示すような画像を生成して用い
る。
情報抽出手段３により抽出された実時間情報に応じて動
的なアイコン画像を生成するものであり、その動的なア
イコン画像としては、アイコン画像の大きさを前記抽出
された音量レベルに応じて経時的に大小変化させて動的
に見せる図２（ｃ）に示すような画像を生成して用い
る。
【００２７】前記ＣＧ画像生成手段７は、図２（ｂ）に
示すように、前記ディスプレイ装置２の画面上で各ウィ
ンドウとしての静止画像を生成する機能を有する。
示すように、前記ディスプレイ装置２の画面上で各ウィ
ンドウとしての静止画像を生成する機能を有する。
【００２８】前記映像信号変換手段１２は、外部からア
ナログ信号である複数の文書等の映像信号が入力され、
これ等入力した映像信号をデジタル信号に変換する複数
個のＤ／Ａ変換器１２ａ…を有し、これ等のデジタル信
号に変換された映像信号を出力する。
ナログ信号である複数の文書等の映像信号が入力され、
これ等入力した映像信号をデジタル信号に変換する複数
個のＤ／Ａ変換器１２ａ…を有し、これ等のデジタル信
号に変換された映像信号を出力する。
【００２９】前記画像生成手段６は、前記映像信号変換
手段１２から出力された映像信号のうち所定の映像信号
を選択し、この選択した映像信号を前記ＣＧ画像生成手
段７で生成された静止画像内に表示すると共に、前記ア
イコン画像生成手段４により生成されたアイコン画像を
ディスプレイ装置２の画面の所定位置に表示するよう
に、これ等映像信号、静止画像及びアイコン画像を合成
する機能を有する。
手段１２から出力された映像信号のうち所定の映像信号
を選択し、この選択した映像信号を前記ＣＧ画像生成手
段７で生成された静止画像内に表示すると共に、前記ア
イコン画像生成手段４により生成されたアイコン画像を
ディスプレイ装置２の画面の所定位置に表示するよう
に、これ等映像信号、静止画像及びアイコン画像を合成
する機能を有する。
【００３０】前記表示装置制御手段５は、前記画像合成
手段６により合成された信号に基いてディスプレイ装置
２の画面上に映像信号及びアイコン画像を表示するよう
ディスプレイ装置２を制御する機能を有する。
手段６により合成された信号に基いてディスプレイ装置
２の画面上に映像信号及びアイコン画像を表示するよう
ディスプレイ装置２を制御する機能を有する。
【００３１】そして、前記表示装置制御手段５及び画像
合成手段６により、前記アイコン画像生成手段４により
生成されたアイコン画像を、前記音声情報抽出手段３に
より実時間情報を抽出した音声信号に対応する文書等の
ウィンドウの表示に代えて、前記ディスプレイ装置の画
面上に表示する表示制御手段１３を構成している。
合成手段６により、前記アイコン画像生成手段４により
生成されたアイコン画像を、前記音声情報抽出手段３に
より実時間情報を抽出した音声信号に対応する文書等の
ウィンドウの表示に代えて、前記ディスプレイ装置の画
面上に表示する表示制御手段１３を構成している。
【００３２】次に、以上のように構成された計算機８の
動作について、図２を用いて説明する。尚、図２におい
て、所定のウィンドウをアイコン化した場合のアイコン
画像を１４、他のウィンドウに表示された画像を１５、
映像信号としてのビデオ動画信号を１６、このビデオ動
画信号１６に対応する音声信号を１７、映像信号として
の他のビデオ動画信号を１８、このビデオ動画信号１８
に対応する音声信号を１９として説明する。また、図２
では、音声混合増幅器１０及び音声信号選択器１１は図
示せず、それ等の機能を信号の流れで表現している。
動作について、図２を用いて説明する。尚、図２におい
て、所定のウィンドウをアイコン化した場合のアイコン
画像を１４、他のウィンドウに表示された画像を１５、
映像信号としてのビデオ動画信号を１６、このビデオ動
画信号１６に対応する音声信号を１７、映像信号として
の他のビデオ動画信号を１８、このビデオ動画信号１８
に対応する音声信号を１９として説明する。また、図２
では、音声混合増幅器１０及び音声信号選択器１１は図
示せず、それ等の機能を信号の流れで表現している。
【００３３】図２において、例えば前記の計算機８のデ
ィスプレイ装置２にビデオ動画信号（アナウンサーがニ
ュースを読み上げる動画）１６をウィンドウに表示し、
これに対応した音声信号（ニュースの読み上げ音声信
号）１７をスピーカー９より出力している状態におい
て、他のビデオ動画信号（ピアノを弾く動画信号）１８
をウィンドウに表示し、これに対応する音声信号（ピア
ノ音の音声信号）１９を音声入出力手段１で選択してス
ピーカ９から発音する場合を説明する。
ィスプレイ装置２にビデオ動画信号（アナウンサーがニ
ュースを読み上げる動画）１６をウィンドウに表示し、
これに対応した音声信号（ニュースの読み上げ音声信
号）１７をスピーカー９より出力している状態におい
て、他のビデオ動画信号（ピアノを弾く動画信号）１８
をウィンドウに表示し、これに対応する音声信号（ピア
ノ音の音声信号）１９を音声入出力手段１で選択してス
ピーカ９から発音する場合を説明する。
【００３４】この場合、ニュースの読み上げ音声信号１
７は音声混合増幅器１０によりスピーカー９からの発音
を停止されると共に、このニュースの読み上げ音声信号
１７が音声信号選択器１１より音声情報抽出手段３へ送
られる。前記音声情報抽出手段３は、ニュースの読み上
げ音声信号１７より実時間情報として音量レベルを抽出
し、アイコン画像生成手段４に送る。前記アイコン画像
生成手段４は、抽出された音量レベルに応じて所定のア
イコン画像の大きさを拡大及び縮小変化させることで動
的なアイコン画像を生成する。この動的なアイコン画像
は、前記発音を停止したニュースの読み上げ音声信号１
７に対応するアナウンサーがニュースを読み上げる動画
１６のウインドウが操作者により操作されると、画像合
成手段６でピアノを弾く動画信号１８と合成された後、
表示制御手段５によって前記アナウンサーがニュースを
読み上げる動画１６に代えて、動的なアイコン画像１４
としてディスプレイ装置２の画面上に表示される。
７は音声混合増幅器１０によりスピーカー９からの発音
を停止されると共に、このニュースの読み上げ音声信号
１７が音声信号選択器１１より音声情報抽出手段３へ送
られる。前記音声情報抽出手段３は、ニュースの読み上
げ音声信号１７より実時間情報として音量レベルを抽出
し、アイコン画像生成手段４に送る。前記アイコン画像
生成手段４は、抽出された音量レベルに応じて所定のア
イコン画像の大きさを拡大及び縮小変化させることで動
的なアイコン画像を生成する。この動的なアイコン画像
は、前記発音を停止したニュースの読み上げ音声信号１
７に対応するアナウンサーがニュースを読み上げる動画
１６のウインドウが操作者により操作されると、画像合
成手段６でピアノを弾く動画信号１８と合成された後、
表示制御手段５によって前記アナウンサーがニュースを
読み上げる動画１６に代えて、動的なアイコン画像１４
としてディスプレイ装置２の画面上に表示される。
【００３５】従って、アナウンサーがニュースを読み上
げる動画１６がディスプレイ装置２のウィンドウに表示
されなくなっても、このニュースを読み上げる動画１６
に対応する動的なアイコン画像１４は、その大きさの大
小変化により操作者に対してニュースの読み上げ音声信
号１７に対応していることを提示するので、操作者はそ
のアイコン画像１４に音声信号１７が対応して存在して
いることを容易に認識することができる。
げる動画１６がディスプレイ装置２のウィンドウに表示
されなくなっても、このニュースを読み上げる動画１６
に対応する動的なアイコン画像１４は、その大きさの大
小変化により操作者に対してニュースの読み上げ音声信
号１７に対応していることを提示するので、操作者はそ
のアイコン画像１４に音声信号１７が対応して存在して
いることを容易に認識することができる。
【００３６】ここで、スピーカ９からはピアノ音の音声
信号１９のみが発音され、ニュースの読み上げ音声信号
１７の発音は停止しているので、ピアノ音の聴取には支
障が無い。
信号１９のみが発音され、ニュースの読み上げ音声信号
１７の発音は停止しているので、ピアノ音の聴取には支
障が無い。
【００３７】以上の説明では、発音されない音声信号１
７の音量レベルに応じて動的なアイコン画像１４を生成
したが、その音声信号１７の音量レベルが所定値を越え
た時点でアイコン画像１４を特に目立つ画像に変化させ
れば、過大な音量レベルを監視できる。
７の音量レベルに応じて動的なアイコン画像１４を生成
したが、その音声信号１７の音量レベルが所定値を越え
た時点でアイコン画像１４を特に目立つ画像に変化させ
れば、過大な音量レベルを監視できる。
【００３８】（実施例２） 図３は本発明の第２の実施例を示し、発音しない音声信
号１７に対応するビデオ動画信号１６をトランペット演
奏動画とした場合に、アイコン画像生成手段４は、動的
なアイコン画像として、音声情報抽出手段３がトランペ
ット音声信号１７より抽出した音量レベルを経時的に指
示するレベル指示計（同図（ｂ）参照）としての動的な
アイコン画像２０を生成したものである。
号１７に対応するビデオ動画信号１６をトランペット演
奏動画とした場合に、アイコン画像生成手段４は、動的
なアイコン画像として、音声情報抽出手段３がトランペ
ット音声信号１７より抽出した音量レベルを経時的に指
示するレベル指示計（同図（ｂ）参照）としての動的な
アイコン画像２０を生成したものである。
【００３９】したがって、本実施例においては、発音さ
れない音声信号の情報として音量レベルを監視できる。
れない音声信号の情報として音量レベルを監視できる。
【００４０】（実施例３） 図４は本発明の第３の実施例を示し、発音しない音声信
号に対応するビデオ動画信号１６をアナウンサーがニュ
ースを読み上げる動画信号とした場合に、音声情報抽出
手段３は、実時間情報として、ニュースの読み上げ音声
信号１７から、この音声信号１７を認識した文章（図４
では「次は明日のお天気について…」を示す）を抽出す
ると共に、アイコン画像生成手段４は、動的なアイコン
画像として、前記音声情報抽出手段３がニュースの読み
上げ音声信号１７を認識した文章の経時的な同図（ｂ）
に示すような字幕２１（図４（ａ）及び（ｂ）では「次
は明日の…」と表示している）を生成したものである。
号に対応するビデオ動画信号１６をアナウンサーがニュ
ースを読み上げる動画信号とした場合に、音声情報抽出
手段３は、実時間情報として、ニュースの読み上げ音声
信号１７から、この音声信号１７を認識した文章（図４
では「次は明日のお天気について…」を示す）を抽出す
ると共に、アイコン画像生成手段４は、動的なアイコン
画像として、前記音声情報抽出手段３がニュースの読み
上げ音声信号１７を認識した文章の経時的な同図（ｂ）
に示すような字幕２１（図４（ａ）及び（ｂ）では「次
は明日の…」と表示している）を生成したものである。
【００４１】したがって、本実施例においては、発音さ
れない音声信号の情報として、その音声信号の内容を監
視できる。
れない音声信号の情報として、その音声信号の内容を監
視できる。
【００４２】（実施例４） 図５は本発明の第４の実施例を示し、発音しない音声信
号１７に対応するビデオ動画信号１６をトランペット演
奏動画とした場合に、音声情報抽出手段３は、実時間情
報として、トランペット音声信号１７から、この音声信
号１７の音程を認識した音階を経時的に抽出すると共
に、アイコン画像生成手段４は、動的なアイコン画像と
して、前記音声情報抽出手段３がトランペット音声信号
１７より抽出した音階を、同図（ｂ）に示すように経時
的に５線譜に表示した楽譜２２を生成したものである。
号１７に対応するビデオ動画信号１６をトランペット演
奏動画とした場合に、音声情報抽出手段３は、実時間情
報として、トランペット音声信号１７から、この音声信
号１７の音程を認識した音階を経時的に抽出すると共
に、アイコン画像生成手段４は、動的なアイコン画像と
して、前記音声情報抽出手段３がトランペット音声信号
１７より抽出した音階を、同図（ｂ）に示すように経時
的に５線譜に表示した楽譜２２を生成したものである。
【００４３】したがって、本実施例においては、発音さ
れない音声信号の実時間情報として、その音声信号の内
容を監視でき、特に音声信号が音楽の場合に有効であ
る。また、抽出した楽譜を記憶媒体に蓄積しておけば、
音楽の自動採譜を兼用できる。更に、抽出した楽譜を、
蓄積しながら、同時に実時間表示した動的なアイコン画
像とすれば、自動採譜を監視できる。
れない音声信号の実時間情報として、その音声信号の内
容を監視でき、特に音声信号が音楽の場合に有効であ
る。また、抽出した楽譜を記憶媒体に蓄積しておけば、
音楽の自動採譜を兼用できる。更に、抽出した楽譜を、
蓄積しながら、同時に実時間表示した動的なアイコン画
像とすれば、自動採譜を監視できる。
【００４４】（実施例５） 図６は本発明の第５の実施例を示す。本実施例では、前
記図５に示す第４の実施例と同様の場合に、音声情報抽
出手段３は、実時間情報として、トランペット音声信号
１７からその音源を認識し、その音源の認識結果（即
ち、「トランペット」）を抽出すると共に、アイコン画
像生成手段４は、動的なアイコン画像として、前記音声
情報抽出手段３が抽出した音源の認識結果の図柄２３
（同図（ｂ）に示すようなトランペットの図柄）を生成
したものである。
記図５に示す第４の実施例と同様の場合に、音声情報抽
出手段３は、実時間情報として、トランペット音声信号
１７からその音源を認識し、その音源の認識結果（即
ち、「トランペット」）を抽出すると共に、アイコン画
像生成手段４は、動的なアイコン画像として、前記音声
情報抽出手段３が抽出した音源の認識結果の図柄２３
（同図（ｂ）に示すようなトランペットの図柄）を生成
したものである。
【００４５】したがって、本実施例においては、発音さ
れない音声信号の実時間情報として、その音声信号の音
源を監視でき、音声信号の種類を想像できる。尚、本実
施例では、音源の図柄を表示したが、音源の語（即ち、
「トランペット」の語）をアイコン画像として表示して
もよい。
れない音声信号の実時間情報として、その音声信号の音
源を監視でき、音声信号の種類を想像できる。尚、本実
施例では、音源の図柄を表示したが、音源の語（即ち、
「トランペット」の語）をアイコン画像として表示して
もよい。
【００４６】尚、以上の説明では、音声情報抽出手段３
によって抽出される実時間情報として音量レベル等を用
いたが、その他、音声信号の包絡線を用いてもよい。こ
の場合、音声情報抽出手段３の構成を簡単な回路で実現
できる。また、音声信号の周波数スペクトルの全部又は
一部を実時間情報として抽出してもよい。この場合に
は、周波数スペクトルの測定を行う機能が付加されるの
で、音声信号の特定周波数での信号レベルを表示できる
効果を奏する。
によって抽出される実時間情報として音量レベル等を用
いたが、その他、音声信号の包絡線を用いてもよい。こ
の場合、音声情報抽出手段３の構成を簡単な回路で実現
できる。また、音声信号の周波数スペクトルの全部又は
一部を実時間情報として抽出してもよい。この場合に
は、周波数スペクトルの測定を行う機能が付加されるの
で、音声信号の特定周波数での信号レベルを表示できる
効果を奏する。
【００４７】また、以上の説明では、動的なアイコン画
像としてアイコン画像の大きさを経時的に大小変化させ
たが、その他、アイコン画像を回転したり、平行移動し
たり、変形させたり、又は変色させたりしてもよい。前
記アイコン画像を平行移動して動的なアイコン画像を生
成する場合には、アイコン画像生成手段４を簡単な回路
で実現できる効果がある。また、変形させる場合には、
基準となるアイコン画像として適切なものを選べば、印
象の強い動的なアイコン画像を生成できる効果がある。
更に、変色させる場合には、アイコン画像の表示領域が
変化しないので、動的なアイコン画像が他のウィンドウ
やアイコン画像にオーバーラップすることが容易に防止
できる効果がある。加えて、前記のような動的なアイコ
ン画像の生成の他に、実時間情報の一符号語毎に予めア
イコン画像を対応させて記憶しておき、抽出した実時間
情報の一符号語毎にこれ等に対応するアイコン画像を記
憶領域より読み出し出力することにより、動的なアイコ
ン画像を生成してもよい。この場合には、前記予め対応
させる多数のアイコン画像をその連続変化時に不自然さ
なく変化するように設定しておけば、印象の強い動的な
アイコン画像を生成できる効果を生じる。
像としてアイコン画像の大きさを経時的に大小変化させ
たが、その他、アイコン画像を回転したり、平行移動し
たり、変形させたり、又は変色させたりしてもよい。前
記アイコン画像を平行移動して動的なアイコン画像を生
成する場合には、アイコン画像生成手段４を簡単な回路
で実現できる効果がある。また、変形させる場合には、
基準となるアイコン画像として適切なものを選べば、印
象の強い動的なアイコン画像を生成できる効果がある。
更に、変色させる場合には、アイコン画像の表示領域が
変化しないので、動的なアイコン画像が他のウィンドウ
やアイコン画像にオーバーラップすることが容易に防止
できる効果がある。加えて、前記のような動的なアイコ
ン画像の生成の他に、実時間情報の一符号語毎に予めア
イコン画像を対応させて記憶しておき、抽出した実時間
情報の一符号語毎にこれ等に対応するアイコン画像を記
憶領域より読み出し出力することにより、動的なアイコ
ン画像を生成してもよい。この場合には、前記予め対応
させる多数のアイコン画像をその連続変化時に不自然さ
なく変化するように設定しておけば、印象の強い動的な
アイコン画像を生成できる効果を生じる。
【００４８】（実施例６） 図７は第６の実施例を示す。本実施例では、前記第１の
実施例を示す図１の構成に比較手段２４を別途付加した
構成としている。前記比較手段２４には、予め定めた情
報、例えば文字列が設定されて記憶される。また、前記
比較手段２４は、音声情報抽出手段３が音声信号から抽
出した実時間情報、例えば音声信号を認識した文章等が
入力され、この入力された実時間情報と前記予め定めた
情報とを比較して、比較条件が満されたとき（例えば、
実時間情報と予め定めた情報とが一致したとき）、音声
入出力手段１のスピーカ９から、前記実時間情報を抽出
した音声信号を含めた全ての音声信号を所定の重みで重
み付けして発音するように音声混合増幅器１０を制御す
ると共に、音声入出力手段１に入力された音声信号の何
れをも選択しないように音声信号選択器１１を制御し、
更にアイコン画像を生成しないようにアイコン画像生成
手段４を制御し、ＣＧ画像生成手段７の生成した静止画
像と映像信号変換手段１２から出力された全ての映像信
号とを合成してこの合成後の信号をディスプレイ装置２
の画面上に表示するようにＣＧ画像生成手段７及び画像
合成手段６を制御する機能を有する。他の構成は図１と
同一であるので、図１と同一部分には同一の符号を付し
てその説明を省略する。
実施例を示す図１の構成に比較手段２４を別途付加した
構成としている。前記比較手段２４には、予め定めた情
報、例えば文字列が設定されて記憶される。また、前記
比較手段２４は、音声情報抽出手段３が音声信号から抽
出した実時間情報、例えば音声信号を認識した文章等が
入力され、この入力された実時間情報と前記予め定めた
情報とを比較して、比較条件が満されたとき（例えば、
実時間情報と予め定めた情報とが一致したとき）、音声
入出力手段１のスピーカ９から、前記実時間情報を抽出
した音声信号を含めた全ての音声信号を所定の重みで重
み付けして発音するように音声混合増幅器１０を制御す
ると共に、音声入出力手段１に入力された音声信号の何
れをも選択しないように音声信号選択器１１を制御し、
更にアイコン画像を生成しないようにアイコン画像生成
手段４を制御し、ＣＧ画像生成手段７の生成した静止画
像と映像信号変換手段１２から出力された全ての映像信
号とを合成してこの合成後の信号をディスプレイ装置２
の画面上に表示するようにＣＧ画像生成手段７及び画像
合成手段６を制御する機能を有する。他の構成は図１と
同一であるので、図１と同一部分には同一の符号を付し
てその説明を省略する。
【００４９】次に、以上のように構成された計算機８の
動作を図８及び図９を用いて説明する。図８に示す前の
状態、すなわちニュースの読み上げ音声信号１７がスピ
ーカー９からの発音を停止され、この発音を停止された
ニュースの読み上げ音声信号１７より実時間情報として
音声情報抽出手段３がその音声信号１７を認識した文章
を抽出し、これに対応してアイコン画像生成手段４がそ
の文章を字幕として実時間表示して動的なアイコン画像
２１を生成して、表示装置制御手段５がこの動的なアイ
コン画像２１をディスプレイ装置２の画面上に表示して
いる状態を前提として説明する。
動作を図８及び図９を用いて説明する。図８に示す前の
状態、すなわちニュースの読み上げ音声信号１７がスピ
ーカー９からの発音を停止され、この発音を停止された
ニュースの読み上げ音声信号１７より実時間情報として
音声情報抽出手段３がその音声信号１７を認識した文章
を抽出し、これに対応してアイコン画像生成手段４がそ
の文章を字幕として実時間表示して動的なアイコン画像
２１を生成して、表示装置制御手段５がこの動的なアイ
コン画像２１をディスプレイ装置２の画面上に表示して
いる状態を前提として説明する。
【００５０】いま、前記の状態で、ニュースの読み上げ
音声信号１７から実時間情報として抽出された文章（即
ち、図８に示す「次は明日のお天気について」との文
章）が比較手段２４に送られ、この比較手段２４におい
て、操作者が予め聴きたいとして設定した情報（図８で
は文字列「天気」）と常に比較されている。ここで、実
時間情報の文章中に「天気」が含まれていて、この実時
間情報中の「天気」と予め設定した情報「天気」との一
致が検出されると、比較手段２４は一致を示す信号を音
声入出力手段１、アイコン画像生成手段４、ＣＧ画像生
成手段７、及び画像合成手段６に送出する。その結果、
アイコン画像生成手段４は動的なアイコン画像２１の生
成を停止し、図９に示すように、画像合成手段６は、ピ
アノを弾く動画信号１８及びアナウンサーがニュースを
読み上げる動画１６の双方を入力し、これ等動画１６、
１８とＣＧ画像生成手段７で生成された静止画像とを合
成して、この合成信号をディスプレイ装置２の画面上の
各ウィンドウ１５、２５に表示し、その結果、ニュース
の字幕としての動的なアイコン画像２１に代えてニュー
スを読み上げる動画がウィンドウ２５に再表示される。
また、前記の画像合成手段６の動作と同時に、音声入出
力手段１がニュースの読み上げ音声信号１７をもスピー
カ９から発音させる。従って、操作者が一時的に聴き取
りから除外したニュースの読み上げ音声であっても、天
気に関する情報を自動的に監視して、その情報を漏らさ
ず適時に聴き取ることができる。
音声信号１７から実時間情報として抽出された文章（即
ち、図８に示す「次は明日のお天気について」との文
章）が比較手段２４に送られ、この比較手段２４におい
て、操作者が予め聴きたいとして設定した情報（図８で
は文字列「天気」）と常に比較されている。ここで、実
時間情報の文章中に「天気」が含まれていて、この実時
間情報中の「天気」と予め設定した情報「天気」との一
致が検出されると、比較手段２４は一致を示す信号を音
声入出力手段１、アイコン画像生成手段４、ＣＧ画像生
成手段７、及び画像合成手段６に送出する。その結果、
アイコン画像生成手段４は動的なアイコン画像２１の生
成を停止し、図９に示すように、画像合成手段６は、ピ
アノを弾く動画信号１８及びアナウンサーがニュースを
読み上げる動画１６の双方を入力し、これ等動画１６、
１８とＣＧ画像生成手段７で生成された静止画像とを合
成して、この合成信号をディスプレイ装置２の画面上の
各ウィンドウ１５、２５に表示し、その結果、ニュース
の字幕としての動的なアイコン画像２１に代えてニュー
スを読み上げる動画がウィンドウ２５に再表示される。
また、前記の画像合成手段６の動作と同時に、音声入出
力手段１がニュースの読み上げ音声信号１７をもスピー
カ９から発音させる。従って、操作者が一時的に聴き取
りから除外したニュースの読み上げ音声であっても、天
気に関する情報を自動的に監視して、その情報を漏らさ
ず適時に聴き取ることができる。
【００５１】尚、本実施例では、比較手段２４は、抽出
した実時間情報と予め設定した情報とを比較してその一
致を検出したが、その他、予め設定した情報が所定値の
音量レベル等である場合には、抽出した実時間情報（音
量レベル）がその所定値を越える場合等、実時間情報と
予め設定する情報との優劣を検出してもよく、要は、こ
の優劣の検出をも含んで、比較条件が満された時を検出
すればよい。
した実時間情報と予め設定した情報とを比較してその一
致を検出したが、その他、予め設定した情報が所定値の
音量レベル等である場合には、抽出した実時間情報（音
量レベル）がその所定値を越える場合等、実時間情報と
予め設定する情報との優劣を検出してもよく、要は、こ
の優劣の検出をも含んで、比較条件が満された時を検出
すればよい。
【００５２】また、本実施例では、音声情報抽出手段３
によって抽出される実時間情報として音声認識による文
章を用い、この文章を予め操作者が設定した文字列と比
較しているが、その他、音程認識による音階又は音源の
認識結果を用い、これ等を予め設定した音階又は音源名
と比較してもよい。
によって抽出される実時間情報として音声認識による文
章を用い、この文章を予め操作者が設定した文字列と比
較しているが、その他、音程認識による音階又は音源の
認識結果を用い、これ等を予め設定した音階又は音源名
と比較してもよい。
【００５３】更に、本実施例では、一致の検出信号によ
ってアイコン画像の生成を停止させてウィンドウにアナ
ウンサーがニュースを読み上げる動画を再表示したが、
この検出信号は割り込み信号としてオペレーションシス
テムに通知してもよい。この場合には、信号を監視する
ための情報処理能力の負担が軽減される。
ってアイコン画像の生成を停止させてウィンドウにアナ
ウンサーがニュースを読み上げる動画を再表示したが、
この検出信号は割り込み信号としてオペレーションシス
テムに通知してもよい。この場合には、信号を監視する
ための情報処理能力の負担が軽減される。
【００５４】（実施例７） 図１０は本発明の第７の実施例を示し、前記第６の実施
例を示す図９の構成の一部を変更したものである。即
ち、音声入出力手段１では、ニュースの読み上げ音声信
号１７と予め設定した情報（「天気」）との一致の検出
時には、このニュースの読み上げ音声信号１７以外の音
声信号、即ちピアノ音声信号１９はスピーカ９からの発
音を停止されると共に、画像合成手段６では、ピアノを
弾く動画信号１８の入力を停止し、更にピアノ音声信号
１９の実時間情報を音声情報抽出手段３で抽出して動的
なアイコン画像２６を生成し、この動的なアイコン画像
２６とアナウンサーがニュースを読み上げる動画２５と
をディスプレイ装置２の画面上に表示させるよう制御す
る。
例を示す図９の構成の一部を変更したものである。即
ち、音声入出力手段１では、ニュースの読み上げ音声信
号１７と予め設定した情報（「天気」）との一致の検出
時には、このニュースの読み上げ音声信号１７以外の音
声信号、即ちピアノ音声信号１９はスピーカ９からの発
音を停止されると共に、画像合成手段６では、ピアノを
弾く動画信号１８の入力を停止し、更にピアノ音声信号
１９の実時間情報を音声情報抽出手段３で抽出して動的
なアイコン画像２６を生成し、この動的なアイコン画像
２６とアナウンサーがニュースを読み上げる動画２５と
をディスプレイ装置２の画面上に表示させるよう制御す
る。
【００５５】したがって、本実施例では、操作者が聴き
取りたい情報（例えば天気情報）以外の情報であるピア
ノの音声はスピーカ９から発音されず、また聴き取りた
い情報以外の動画であるピアノを弾く動画は動的なアイ
コン画像として小さく表示するので、聴き取りたい情報
をより一層に聴き取り易くできる。
取りたい情報（例えば天気情報）以外の情報であるピア
ノの音声はスピーカ９から発音されず、また聴き取りた
い情報以外の動画であるピアノを弾く動画は動的なアイ
コン画像として小さく表示するので、聴き取りたい情報
をより一層に聴き取り易くできる。
【００５６】
【発明の効果】以上説明したように、請求項１ないし請
求項８記載の発明の計算機によれば、所定のウィンドウ
に文書等を表示し、且つその文書等に対応する音声をス
ピーカから発音している場合に、他の文書等について
は、操作者によるウインドウの選択操作によって、この
文書等をウィンドウに表示せず、これに代えて、この表
示しない文書に対応する音声信号から抽出した実時間情
報に応じて動的に変化するアイコン画像を表示したの
で、アイコン画像が音声信号に対応付けられていること
を他の発音中の音声の聴き取りに支障なく操作者に提示
できる。
求項８記載の発明の計算機によれば、所定のウィンドウ
に文書等を表示し、且つその文書等に対応する音声をス
ピーカから発音している場合に、他の文書等について
は、操作者によるウインドウの選択操作によって、この
文書等をウィンドウに表示せず、これに代えて、この表
示しない文書に対応する音声信号から抽出した実時間情
報に応じて動的に変化するアイコン画像を表示したの
で、アイコン画像が音声信号に対応付けられていること
を他の発音中の音声の聴き取りに支障なく操作者に提示
できる。
【００５７】特に、請求項３記載の発明の計算機によれ
ば、基本的なアイコン画像の大きさを経時的に大小変化
させて動的なアイコン画像を生成したので、アイコン画
像が音声信号に対応付けられていることを一層簡易に操
作者に提示できる。
ば、基本的なアイコン画像の大きさを経時的に大小変化
させて動的なアイコン画像を生成したので、アイコン画
像が音声信号に対応付けられていることを一層簡易に操
作者に提示できる。
【００５８】しかも、請求項６記載の発明の計算機によ
れば、発音されない音声信号を認識した結果としての文
章を字幕として動的に表示して動的なアイコン画像とし
たので、操作者は発音されない音声に含む情報を簡易に
監視できる効果を奏する。
れば、発音されない音声信号を認識した結果としての文
章を字幕として動的に表示して動的なアイコン画像とし
たので、操作者は発音されない音声に含む情報を簡易に
監視できる効果を奏する。
【図１】第１の実施例の構成を示すブロック図である。
【図２】第１の実施例の動作の説明図である。
【図３】第２の実施例の動作の説明図である。
【図４】第３の実施例の動作の説明図である。
【図５】第４の実施例の動作の説明図である。
【図６】第５の実施例の動作の説明図である。
【図７】第６の実施例の構成を示すブロック図である。
【図８】第６の実施例における一致を検出する前の動作
の説明図である。
の説明図である。
【図９】第６の実施例における一致を検出した後の動作
の説明図である。
の説明図である。
【図１０】第７の実施例の動作の説明図である。
１ 音声入出力手段 ２ ディスプレイ装置 ３ 音声情報抽出手段 ４ アイコン画像生成手段 ５ 表示装置制御手段 ６ 画像合成手段 ７ ＣＧ画像生成手段 ８ 計算機 ９ スピーカ １０ 音声混合増幅器 １１ 音声信号選択器 １２ 映像信号変換手段 １２ａ，… Ｄ／Ａ変換器 ２４ 比較手段
Claims (8)
- 【請求項１】 画面上に複数のウィンドウが設定される
ディスプレイ装置と、前記ディスプレイ装置の画面上に設定される前記複数の
ウィンドウに対応する 複数の音声信号を入力し、そのう
ち所定の１つの音声信号を選択して発音する音声入出力
手段と、 前記音声入出力手段から発音される音声信号以外の音声
信号より実時間情報を抽出する音声情報抽出手段と、 前記音声情報抽出手段により抽出された実時間情報に応
じて変化する動的なアイコン画像を生成するアイコン画
像生成手段と、 前記アイコン画像生成手段により生成されたアイコン画
像を、前記実時間情報を抽出した音声信号に対応するウ
ィンドウの表示に代えて前記ディスプレイ装置の画面上
に表示する表示制御手段とを有し、 前記複数のウインドウのうち１つに所定の画像が表示さ
れ且つ前記所定の画像に対応する音声が発音されている
場合において、 前記所定の画像とは異なる画像が所定のウインドウに表
示されると共に、前記音声信号入出力手段が前記所定の
画像とは異なる画像に対応する音声信号を選択して発音
した際に、 前記所定の画像とは異なる画像に対応する音声の発音以
前に発音中であった音声の発音が停止されると共に、 前記発音を停止した音声信号に対応したウインドウが操
作者により選択操作された時点で、前記表示制御手段
は、前記発音を停止した音声信号に対応したウインドウ
に代えて、前記発音を停止した音声信号の実時間情報に
応じて前記アイコン画像生成手段により生成された動的
なアイコン画像を前記ディスプレイ装置の画面上に表示
する ことを特徴とする計算機。 - 【請求項２】 音声情報抽出手段が音声信号より抽出す
る実時間情報は、音量レベルであることを特徴とする請
求項１記載の計算機。 - 【請求項３】 アイコン画像生成手段が生成する動的な
アイコン画像は、基準となるアイコン画像の大きさを拡
大して縮小することを繰返すアイコン画像であることを
特徴とする請求項１記載の計算機。 - 【請求項４】 アイコン画像生成手段が生成する動的な
アイコン画像は、音声情報抽出手段が音声信号より抽出
した音量レベルを経時的に指示するレベル指示計として
のアイコン画像であることを特徴とする請求項２記載の
計算機。 - 【請求項５】 音声情報抽出手段が音声信号より抽出す
る実時間情報は、音声信号の認識結果である文章である
ことを特徴とする請求項１記載の計算機。 - 【請求項６】 画面上に複数のウィンドウが設定される
ディスプレイ装置と、前記ディスプレイ装置の画面上に設定される前記複数の
ウィンドウに対応する 複数の音声信号を入力し、そのう
ち所定の１つの音声信号を選択して発音する音声入出力
手段と、 前記音声入出力手段から発音される音声信号以外の音声
信号より実時間情報としてその音声信号を認識した結果
である文章を抽出する音声情報抽出手段と、 前記音声情報抽出手段が音声認識より抽出した文章の経
時的な字幕よりなる動的なアイコン画像を生成するアイ
コン画像生成手段と、 前記アイコン画像生成手段により生成されたアイコン画
像を、前記実時間情報を抽出した音声信号に対応するウ
ィンドウの表示に代えて前記ディスプレイ装置の画面上
に表示する表示制御手段とを有し、 前記複数のウインドウのうち１つに所定の画像が表示さ
れ且つ前記所定の画像に対応する音声が発音されている
場合において、 前記所定の画像とは異なる画像が所定のウインドウに表
示されると共に、前記音声信号入出力手段が前記所定の
画像とは異なる画像に対応する音声信号を選択して発音
した際に、 前記所定の画像とは異なる画像に対応する音声の発音以
前に発音中であった音 声の発音が停止されると共に、 前記発音を停止した音声信号に対応したウインドウが操
作者により選択操作された時点で、前記表示制御手段
は、前記発音を停止した音声信号に対応したウインドウ
に代えて、前記発音を停止した音声信号の実時間情報に
応じて前記アイコン画像生成手段により生成された文章
の経時的な字幕である動的なアイコン画像を前記ディス
プレイ装置の画面上に表示する ことを特徴とする計算
機。 - 【請求項７】 音声情報抽出手段が音声信号より抽出す
る実時間情報は、音声信号の音程を認識した音階である
ことを特徴とする請求項１記載の計算機。 - 【請求項８】 音声情報抽出手段が音声信号より抽出す
る実時間情報は、音声信号の音源の認識結果であること
を特徴とする請求項１記載の計算機。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12235093A JP3248981B2 (ja) | 1992-06-02 | 1993-05-25 | 計算機 |
| US08/877,242 US5969719A (en) | 1992-06-02 | 1997-06-17 | Computer generating a time-variable icon for an audio signal |
| US09/285,275 US6271841B1 (en) | 1992-06-02 | 1999-04-02 | Information processor for changing a display in response to an input audio signal |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14130592 | 1992-06-02 | ||
| JP4-141305 | 1992-06-02 | ||
| JP12235093A JP3248981B2 (ja) | 1992-06-02 | 1993-05-25 | 計算機 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11009677A Division JPH11316644A (ja) | 1992-06-02 | 1999-01-18 | 情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0651930A JPH0651930A (ja) | 1994-02-25 |
| JP3248981B2 true JP3248981B2 (ja) | 2002-01-21 |
Family
ID=26459496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12235093A Expired - Fee Related JP3248981B2 (ja) | 1992-06-02 | 1993-05-25 | 計算機 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US5969719A (ja) |
| JP (1) | JP3248981B2 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1108055C (zh) * | 1995-07-03 | 2003-05-07 | 皇家菲利浦电子有限公司 | 图形图像传输方法及显示信号发生器和发生器与接收器 |
| CN1150752C (zh) * | 1997-06-06 | 2004-05-19 | 汤姆森消费电子有限公司 | 用于改变节目导引格式的***和方法 |
| GB2330752B (en) * | 1997-10-24 | 2002-09-04 | Sony Uk Ltd | Audio processing |
| US6297818B1 (en) * | 1998-05-08 | 2001-10-02 | Apple Computer, Inc. | Graphical user interface having sound effects for operating control elements and dragging objects |
| US6636238B1 (en) * | 1999-04-20 | 2003-10-21 | International Business Machines Corporation | System and method for linking an audio stream with accompanying text material |
| US6871107B1 (en) * | 1999-07-01 | 2005-03-22 | Ftr Pty, Ltd. | Digital audio transcription system |
| US7349946B2 (en) * | 2000-10-02 | 2008-03-25 | Canon Kabushiki Kaisha | Information processing system |
| US7085259B2 (en) * | 2001-07-31 | 2006-08-01 | Comverse, Inc. | Animated audio messaging |
| US7240333B2 (en) * | 2001-09-21 | 2007-07-03 | Intel Corporation | Display of a digital information content and method of selection |
| US7143363B1 (en) | 2002-07-25 | 2006-11-28 | Brunswick Corporation | Method for displaying marine vessel information for an operator |
| EP2819123A1 (en) * | 2003-01-02 | 2014-12-31 | Samsung Electronics Co., Ltd | Multimedia apparatus with "slide-show" accompanied audio output |
| US7605813B2 (en) | 2003-04-22 | 2009-10-20 | International Business Machines Corporation | Displaying arbitrary relationships in a tree-map visualization |
| JP2007512437A (ja) * | 2003-11-20 | 2007-05-17 | ナルコ カンパニー | 温水系における腐食を抑制する方法 |
| WO2006030424A2 (en) * | 2004-09-13 | 2006-03-23 | Amodat Ltd. | Method for changing labels, icons and audio output in software applications using a stylus stroke on a touch screen |
| WO2006077720A1 (ja) * | 2005-01-18 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像合成装置 |
| US8199935B2 (en) * | 2005-09-15 | 2012-06-12 | Digital Layers Inc. | Method, a system and an apparatus for delivering media layers |
| US7509588B2 (en) | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
| US7706903B2 (en) | 2006-04-13 | 2010-04-27 | International Business Machines Corporation | Selective muting of applications |
| KR100684457B1 (ko) * | 2006-05-04 | 2007-02-22 | 주식회사 모빌리언스 | 이동통신단말의 외부 음원 인식을 이용하여 사용자에게고유정보를 제공하는 고유정보 제공 시스템, 고유정보 제공방법 및 그 이동통신단말 |
| US20090307594A1 (en) * | 2006-05-12 | 2009-12-10 | Timo Kosonen | Adaptive User Interface |
| US10313505B2 (en) | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
| US8930002B2 (en) * | 2006-10-11 | 2015-01-06 | Core Wireless Licensing S.A.R.L. | Mobile communication terminal and method therefor |
| US8519964B2 (en) | 2007-01-07 | 2013-08-27 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
| US9772751B2 (en) | 2007-06-29 | 2017-09-26 | Apple Inc. | Using gestures to slide between user interfaces |
| US9619143B2 (en) | 2008-01-06 | 2017-04-11 | Apple Inc. | Device, method, and graphical user interface for viewing application launch icons |
| US8619038B2 (en) | 2007-09-04 | 2013-12-31 | Apple Inc. | Editing interface |
| US11126321B2 (en) | 2007-09-04 | 2021-09-21 | Apple Inc. | Application menu user interface |
| US8584031B2 (en) | 2008-11-19 | 2013-11-12 | Apple Inc. | Portable touch screen device, method, and graphical user interface for using emoji characters |
| JP2011022962A (ja) * | 2009-07-21 | 2011-02-03 | Panasonic Corp | 情報処理端末 |
| JP5737372B2 (ja) * | 2013-11-29 | 2015-06-17 | オンキヨー株式会社 | 表示装置 |
| KR20160144214A (ko) * | 2015-06-08 | 2016-12-16 | 엘지전자 주식회사 | 교통 사고 정보 공유 방법 및 이를 이용한 이동 단말기 |
| JP6620462B2 (ja) * | 2015-08-21 | 2019-12-18 | ヤマハ株式会社 | 合成音声編集装置、合成音声編集方法およびプログラム |
| US10809889B2 (en) * | 2018-03-06 | 2020-10-20 | Sony Corporation | Live interactive event indication based on notification profile for display device |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4757525A (en) * | 1982-09-29 | 1988-07-12 | Vmx, Inc. | Electronic audio communications system with voice command features |
| US4847785A (en) * | 1985-01-22 | 1989-07-11 | International Business Machines Corp. | Interactive display for trend or bar graph |
| JPH0636159B2 (ja) * | 1985-12-18 | 1994-05-11 | 日本電気株式会社 | ピツチ検出器 |
| US4884972A (en) * | 1986-11-26 | 1989-12-05 | Bright Star Technology, Inc. | Speech synchronized animation |
| JPS647226A (en) | 1987-06-30 | 1989-01-11 | Toshiba Corp | Image displaying device |
| JPH01120595A (ja) | 1987-11-04 | 1989-05-12 | Matsushita Electric Ind Co Ltd | 動画アイコン表示装置 |
| US5065345A (en) * | 1988-11-04 | 1991-11-12 | Dyned International, Inc. | Interactive audiovisual control mechanism |
| US5133075A (en) * | 1988-12-19 | 1992-07-21 | Hewlett-Packard Company | Method of monitoring changes in attribute values of object in an object-oriented database |
| JP2563569B2 (ja) | 1989-03-30 | 1996-12-11 | 松下電器産業株式会社 | 画像表示装置 |
| US5111409A (en) * | 1989-07-21 | 1992-05-05 | Elon Gasper | Authoring and use systems for sound synchronized animation |
| US5339392A (en) * | 1989-07-27 | 1994-08-16 | Risberg Jeffrey S | Apparatus and method for creation of a user definable video displayed document showing changes in real time data |
| US5218672A (en) * | 1990-01-19 | 1993-06-08 | Sony Corporation Of America | Offline editing system with user interface for controlling edit list generation |
| US5212733A (en) * | 1990-02-28 | 1993-05-18 | Voyager Sound, Inc. | Sound mixing device |
| JPH03276463A (ja) * | 1990-03-26 | 1991-12-06 | Matsushita Electric Ind Co Ltd | オーディオビデオシステム |
| US5208897A (en) * | 1990-08-21 | 1993-05-04 | Emerson & Stern Associates, Inc. | Method and apparatus for speech recognition based on subsyllable spellings |
| US5307456A (en) * | 1990-12-04 | 1994-04-26 | Sony Electronics, Inc. | Integrated multi-media production and authoring system |
| US5148154A (en) * | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
| EP0497327B1 (en) * | 1991-01-29 | 1999-05-12 | Fujitsu Limited | An animation display processor |
| WO1993003549A1 (en) * | 1991-07-31 | 1993-02-18 | Euphonix, Inc. | Automated audio mixer |
| DE69222102T2 (de) * | 1991-08-02 | 1998-03-26 | Grass Valley Group | Bedienerschnittstelle für Videoschnittsystem zur Anzeige und interaktive Steuerung von Videomaterial |
| US5265191A (en) * | 1991-09-17 | 1993-11-23 | At&T Bell Laboratories | Technique for voice-based security systems |
| US5355450A (en) * | 1992-04-10 | 1994-10-11 | Avid Technology, Inc. | Media composer with adjustable source material compression |
| US5333299A (en) * | 1991-12-31 | 1994-07-26 | International Business Machines Corporation | Synchronization techniques for multimedia data streams |
| AU4027393A (en) * | 1992-04-10 | 1993-11-18 | Avid Technology, Inc. | Digital audio workstation providing digital storage and display of video information |
| US5402499A (en) * | 1992-08-07 | 1995-03-28 | Lsi Logic Corporation | Multimedia controller |
-
1993
- 1993-05-25 JP JP12235093A patent/JP3248981B2/ja not_active Expired - Fee Related
-
1997
- 1997-06-17 US US08/877,242 patent/US5969719A/en not_active Expired - Fee Related
-
1999
- 1999-04-02 US US09/285,275 patent/US6271841B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6271841B1 (en) | 2001-08-07 |
| US5969719A (en) | 1999-10-19 |
| JPH0651930A (ja) | 1994-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3248981B2 (ja) | 計算機 | |
| JPH0510874B2 (ja) | ||
| KR20160111294A (ko) | 읽기 및 쓰기 학습 기능을 구비한 외국어 학습 시스템 및 외국어 학습 방법 | |
| JP2007206317A (ja) | オーサリング方法、オーサリング装置およびプログラム | |
| JPH1091389A (ja) | テキストを音声に変換するシンセサイザ | |
| JPS58132800A (ja) | 音声応答装置 | |
| JP4797597B2 (ja) | 語学学習装置 | |
| JP3795692B2 (ja) | 文字処理装置および方法 | |
| JP2741833B2 (ja) | マルチメデイア提示内で音声的サーチ・パターンを使用するためのシステム及びその方法 | |
| JPH07181992A (ja) | 文書読上げ装置及び方法 | |
| JP3036430B2 (ja) | 文章読み上げ装置 | |
| JP3222283B2 (ja) | 案内装置 | |
| JPH11316644A (ja) | 情報処理装置 | |
| JP2006031725A (ja) | 文字処理装置 | |
| JP2580565B2 (ja) | 音声情報辞書作成装置 | |
| JP6486582B2 (ja) | 電子機器、音声制御方法、およびプログラム | |
| JPH08272388A (ja) | 音声合成装置及びその方法 | |
| JPS6184771A (ja) | 音声入力装置 | |
| JP2006284645A (ja) | 音声再生装置およびその再生プログラムならびにその再生方法 | |
| JPH07199989A (ja) | 音声認識装置 | |
| JP3838193B2 (ja) | 文章読み上げ装置、同装置のためのプログラム及び記録媒体 | |
| JP2005106844A (ja) | 音声出力装置、サーバ及びプログラム | |
| JP2859674B2 (ja) | 文字放送受信装置 | |
| JP2007256815A (ja) | 音声再生装置、音声再生方法、音声再生プログラム | |
| JP4563418B2 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |